[論文レビュー] Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition

Shih‐Hsuan Chiu, Tien-Hong Lo+2 more|arXiv (Cornell University)|Jun 13, 2021

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本論文は、会話型自動音声認識（ASR）のための新しいクロス発話再順序付けフレームワークを提案する。このフレームワークは、BERTとグラフ畳み込みネットワーク（GCN）を組み合わせ、過去の発話間のグローバルな依存関係をモデル化する。過去の発話をグラフとして表現し、GCNを用いて関係性を有する単語埋め込みを抽出することで、BERTに基づく再順序付けを強化し、1つの前回発話を用いる場合、BERT単体に比べて相対的WERを1.3%低減する。

ABSTRACT

How to effectively incorporate cross-utterance information cues into a neural language model (LM) has emerged as one of the intriguing issues for automatic speech recognition (ASR). Existing research efforts on improving contextualization of an LM typically regard previous utterances as a sequence of additional input and may fail to capture complex global structural dependencies among these utterances. In view of this, we in this paper seek to represent the historical context information of an utterance as graph-structured data so as to distill cross-utterances, global word interaction relationships. To this end, we apply a graph convolutional network (GCN) on the resulting graph to obtain the corresponding GCN embeddings of historical words. GCN has recently found its versatile applications on social-network analysis, text summarization, and among others due mainly to its ability of effectively capturing rich relational information among elements. However, GCN remains largely underexplored in the context of ASR, especially for dealing with conversational speech. In addition, we frame ASR N-best reranking as a prediction problem, leveraging bidirectional encoder representations from transformers (BERT) as the vehicle to not only seize the local intrinsic word regularity patterns inherent in a candidate hypothesis but also incorporate the cross-utterance, historical word interaction cues distilled by GCN for promoting performance. Extensive experiments conducted on the AMI benchmark dataset seem to confirm the pragmatic utility of our methods, in relation to some current top-of-the-line methods.

研究の動機と目的

• 会話型ASRにおける複数発話にわたるグローバルな構造的依存関係を捉えることが、再帰的言語モデルの限界を克服する。
• 会話認識における発話間関係をモデル化する上で未利用に近い状態にあるグラフ畳み込みネットワーク（GCN）の潜在的価値を調査する。
• BERTの文脈表現とGCNで抽出されたグローバルな文脈を統合することで、N-best仮説の再順序付けを向上させる。
• 従来のRNN/LSTMベースの言語モデルと比較して、BERTとGCNを組み合わせることで、ベンチマーク会話型ASRタスクで優れた性能を達成できることを示す。

提案手法

• ターゲット発話の歴史的文脈を、ノードが単語で、エッジがアテンションスコアから導かれる意味的または文法的関係であるグラフとして表現する。
• グラフ畳み込みネットワーク（GCN）を適用し、グラフ全体にわたって情報の伝搬と集約を行い、歴史的単語の文脈に応じたGCN埋め込みを生成する。
• GCN埋め込みをBERTの文脈表現と連結することで、再順序付けモデルの入力特徴として統合する。
• N-best仮説の再順序付けを分類タスクとして定式化し、BERTを用いて局所的な語のパターンとグローバルな発話間文脈の両方を考慮して、最も可能性の高い仮説を予測する。
• AMIミーティングコーパス上で、WERを主評価指標として、モデルをエンドツーエンドで学習する。
• 2つの変種を評価する：PBERT+GCN（歴史にGCNを適用した再順序付け）とHPBERT+GCN（GCNで強化された歴史的表現をBERTに供給）。

実験結果

リサーチクエスチョン

• RQ1 GCNは、会話型音声認識において、複数の前回発話にわたる単語間のグローバルな構造的依存関係を効果的にモデル化できるか？
• RQ2 BERTにGCNで得た埋め込みを統合することで、標準のRNNやLSTM言語モデルと比較して、N-best仮説の再順序付け性能が向上するか？
• RQ3 GCNベースの歴史的モデリングに使用する前回発話の数が、ASR性能にどのように影響するか？
• RQ4 BERTの局所的文脈モデリングとGCNのグローバルな関係学習の間には相補的な情報が存在し、再順序付け精度を向上させる要因となるか？

主な発見

• 1つの前回発話を用いるPBERT+GCNは、PBERT単体に比べて相対的WERを1.3%低減し、GCNが発話間依存関係を捉える有効性を示している。
• PBERT+GCN(1)のWERは16.26%であり、PBERTの16.48%よりも低く、LSTMの17.27%やBLSTMの17.00%のベースラインよりも顕著に優れている。
• HPBERT+GCNは常にHPBERT単体を上回り、HPBERT(10)+GCN(10)ではWERが16.13%にまで低下し、HPBERT(10)単体の16.25%に比べて0.12%の絶対的改善を達成している。
• GCNによる性能向上は、1つの前回発話を用いる場合に最も顕著であり、長時間の文脈に過剰適合することなく、顕著なグローバル構造を効果的に捉えていることが示唆される。
• BERTベースの再順序付けフレームワークは、N=40の仮説で相対的改善が最大に達し、カバレッジと正確性の最適なバランスを示している。
• BERTとGCNの組み合わせは相補的な利点をもたらし、複数の設定において一貫したWERの改善が確認された。