[论文解读] Deep Graph Random Process for Relational-Thinking-Based Speech Recognition

Hengguan Huang, Fuzhao Xue+2 more|arXiv (Cornell University)|Jul 4, 2020

Speech Recognition and Synthesis被引用 8

一句话总结

本文提出深度图随机过程（DGP），一种贝叶斯非参数方法，通过生成无限概率图来建模语音识别中的关系感知。通过在无需显式关系监督的情况下实现端到端关系推理，DGP在CHiME-2和CHiME-5基准上取得最先进性能，通过闭式耦合与变换感知图，在噪声较大、对话式的自动语音识别设置中展现出鲁棒性。

ABSTRACT

Lying at the core of human intelligence, relational thinking is characterized by initially relying on innumerable unconscious percepts pertaining to relations between new sensory signals and prior knowledge, consequently becoming a recognizable concept or object through coupling and transformation of these percepts. Such mental processes are difficult to model in real-world problems such as in conversational automatic speech recognition (ASR), as the percepts (if they are modelled as graphs indicating relationships among utterances) are supposed to be innumerable and not directly observable. In this paper, we present a Bayesian nonparametric deep learning method called deep graph random process (DGP) that can generate an infinite number of probabilistic graphs representing percepts. We further provide a closed-form solution for coupling and transformation of these percept graphs for acoustic modeling. Our approach is able to successfully infer relations among utterances without using any relational data during training. Experimental evaluations on ASR tasks including CHiME-2 and CHiME-5 demonstrate the effectiveness and benefits of our method.

研究动机与目标

• 通过将感官感知表示为动态关系图，建模类人的关系思维在语音识别中的应用。
• 解决在真实语音识别中建模无数、不可观测的感知关系的挑战，且无需标注关系数据。
• 开发一种可扩展的、可微分的框架，支持通过关系推理实现端到端声学模型学习。
• 实现感知图的有效耦合与变换，以提升在噪声较大、对话式环境下的语音识别性能。

提出的方法

• 该方法在无限层次的图结构感知上采用贝叶斯非参数先验，使模型能够生成无限制数量的关系表征。
• 将感知图生成形式化为具有图节点与边上的随机过程的深度高斯过程，以捕捉不确定性与关系结构。
• 推导出感知图变换与耦合的闭式解，实现无需显式关系监督的高效端到端训练。
• 通过可微的消息传递机制将基于图的表征整合到声学建模中，实现在语音序列间的关系特征聚合。
• 使用变分推理端到端训练框架，以近似潜在图结构的后验分布。
• 该方法应用于自动语音识别中的序列建模，图结构编码了语音之间的关系依赖。

实验结果

研究问题

• RQ1 无显式关系监督的情况下，关系感知的深度生成模型能否提升在噪声较大、对话式环境中的语音识别性能？
• RQ2 如何利用无限、非参数的图过程来建模语音中不可观测的、无意识的感知关系？
• RQ3 通过图耦合的关系推理对真实语音识别任务中的声学建模性能有何影响？
• RQ4 图变换的闭式解能否在深度学习中实现高效且可扩展的关系推理？
• RQ5 该模型在具有不同噪声水平与说话人配置的多样化对话语音场景中，泛化能力如何？

主要发现

• 所提出的DGP模型在CHiME-2和CHiME-5基准上达到最先进性能，在噪声较大、多人参与的语音识别任务中优于强基线模型。
• 模型在训练过程中无需任何关系标注，显著降低了词错误率（WER），证明了无监督关系推理的有效性。
• 图耦合的闭式解实现了高效且稳定的训练，避免了在复杂图空间中使用采样推理的需要。
• DGP的贝叶斯非参数特性使模型能够根据输入数据自适应调整关系表征的复杂度，提升泛化能力。
• 消融实验表明，通过图结构的关系推理显著提升了对环境噪声与说话人差异的鲁棒性。