[论文解读] Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition

Shih‐Hsuan Chiu, Tien-Hong Lo+2 more|arXiv (Cornell University)|Jun 13, 2021

Topic Modeling参考文献 35被引用 5

一句话总结

该论文提出了一种用于对话式语音识别的新型跨话语重排序框架，通过将 BERT 与图卷积网络（GCN）结合，以建模历史话语之间的全局依赖关系。通过将先前话语表示为图结构，并利用 GCN 提取关系性词嵌入，该方法增强了基于 BERT 的重排序性能，在仅使用一个前序话语时，相比仅使用 BERT 的方法，实现了 1.3% 的相对 WER 降低。

ABSTRACT

How to effectively incorporate cross-utterance information cues into a neural language model (LM) has emerged as one of the intriguing issues for automatic speech recognition (ASR). Existing research efforts on improving contextualization of an LM typically regard previous utterances as a sequence of additional input and may fail to capture complex global structural dependencies among these utterances. In view of this, we in this paper seek to represent the historical context information of an utterance as graph-structured data so as to distill cross-utterances, global word interaction relationships. To this end, we apply a graph convolutional network (GCN) on the resulting graph to obtain the corresponding GCN embeddings of historical words. GCN has recently found its versatile applications on social-network analysis, text summarization, and among others due mainly to its ability of effectively capturing rich relational information among elements. However, GCN remains largely underexplored in the context of ASR, especially for dealing with conversational speech. In addition, we frame ASR N-best reranking as a prediction problem, leveraging bidirectional encoder representations from transformers (BERT) as the vehicle to not only seize the local intrinsic word regularity patterns inherent in a candidate hypothesis but also incorporate the cross-utterance, historical word interaction cues distilled by GCN for promoting performance. Extensive experiments conducted on the AMI benchmark dataset seem to confirm the pragmatic utility of our methods, in relation to some current top-of-the-line methods.

研究动机与目标

• 解决循环神经语言模型在对话式语音识别中难以捕捉多轮话语之间全局结构依赖关系的局限性。
• 探索图卷积网络（GCN）在建模语音识别中跨话语关系方面的未被充分利用的潜力。
• 通过整合 GCN 提取的全局上下文与 BERT 的上下文表示，提升 N-best 假说重排序性能。
• 证明将 BERT 与 GCN 结合可优于传统 RNN/LSTM 基础语言模型，在基准对话式语音识别任务中表现更优。

提出的方法

• 将目标话语的历史上下文表示为图结构，其中节点为词语，边为基于注意力得分生成的语义或句法关系。
• 应用图卷积网络（GCN）在图中传播并聚合信息，生成历史词语的上下文化 GCN 嵌入表示。
• 通过拼接 GCN 嵌入与 BERT 的上下文表示作为输入特征，将二者融合至重排序模型中。
• 将 N-best 假说重排序建模为分类任务，利用 BERT 基于局部词模式与全局跨话语上下文预测最可能的假说。
• 在 AMI 会议语料库上端到端训练模型，以 WER 为主要评估指标。
• 评估两种变体：PBERT+GCN（在历史信息上应用 GCN 进行重排序）与 HPBERT+GCN（将 GCN 增强的历史表示输入 BERT）。

实验结果

研究问题

• RQ1 GCN 是否能有效建模对话式语音识别中多个先前话语之间词语的全局结构依赖关系？
• RQ2 与标准 RNN 或 LSTM 语言模型相比，将 GCN 提取的嵌入与 BERT 融合是否能提升 N-best 假说重排序性能？
• RQ3 在 GCN 基于历史建模中，使用多少个前序话语会影响语音识别性能？
• RQ4 BERT 的局部上下文建模与 GCN 的全局关系学习之间是否存在互补信息，从而提升重排序准确率？

主要发现

• PBERT+GCN 在仅使用一个前序话语时，相比 PBERT 单独使用，实现了 1.3% 的相对 WER 降低，证明了 GCN 在捕捉跨话语依赖关系方面的有效性。
• PBERT+GCN(1) 的 WER 为 16.26%，低于 PBERT 的 16.48%，且显著优于 LSTM（17.27%）和 BLSTM（17.00%）基线模型。
• HPBERT+GCN 始终优于 HPBERT 单独使用，其中 HPBERT(10)+GCN(10) 的 WER 达到 16.13%，相比 HPBERT(10) 单独使用实现了 0.12% 的绝对提升。
• 当仅使用一个先前话语时，GCN 的性能增益最为显著，表明 GCN 能够在不因长上下文而过拟合的情况下有效捕捉关键的全局结构。
• 基于 BERT 的重排序框架在 N=40 个假说时达到最大相对性能提升，表明此时在覆盖范围与准确性之间实现了最佳平衡。
• BERT 与 GCN 的结合带来了互补性增益，这一点在多种配置下均表现出一致的 WER 改进。