[論文レビュー] Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion

Suyoun Kim, Siddharth Dalmia+1 more|arXiv (Cornell University)|Jun 27, 2019

Speech Recognition and Synthesis参考文献 44被引用数 11

ひとこと要約

本稿では、複数の発話にわたる会話的文脈表現を向上させるために、事前学習済み単語（fastText）および文（BERT）埋め込みを統合するゲーティング型エンドツーエンド音声認識モデルを提案する。音声、単語、文脈埋め込みを統合するゲーティング機構を用いることで、Switchboardでは15%の相対的WER改善、CallHomeでは5%の改善を達成し、長時間の会話理解において標準的なエンドツーエンドモデルを上回る性能を発揮する。

ABSTRACT

We present a novel conversational-context aware end-to-end speech recognizer based on a gated neural network that incorporates conversational-context/word/speech embeddings. Unlike conventional speech recognition models, our model learns longer conversational-context information that spans across sentences and is consequently better at recognizing long conversations. Specifically, we propose to use the text-based external word and/or sentence embeddings (i.e., fastText, BERT) within an end-to-end framework, yielding a significant improvement in word error rate with better conversational-context representation. We evaluated the models on the Switchboard conversational speech corpus and show that our model outperforms standard end-to-end speech recognition models.

研究の動機と目的

• 複数発話にわたる会話的文脈を統合することで、長時間の会話におけるエンドツーエンド音声認識の性能を向上させること。
• 事前学習済みテキスト埋め込み（fastText, BERT）を活用し、音声認識におけるより優れた文脈表現を実現すること。
• 音声、単語、会話的文脈埋め込みを効果的に統合するゲーティング機構を設計すること。
• 大規模なアノテート済み音声データセットに依存しない一般化性能の向上を図るため、テキストのみのデータを用いた共同学習を検討すること。
• 発話履歴長さとサンプリング戦略が、文脈表現の質に与える影響を評価すること。

提案手法

• グラフィム出力を持つエンドツーエンド音声認識のための、統合CTC/アテンションベースのエンコーダデコーダアーキテクチャを採用する。
• 文脈モデリングのため、デコーダへの入力として外部の事前学習済み単語および文の埋め込み（fastText, BERT）を統合する。
• 音声、単語、文脈埋め込みの間で乗算的相互作用を実行する文脈ゲーティング機構を採用し、それらの寄与度を動的に重みづけする。
• 発話単位のサンプリング戦略（真値またはモデル生成仮説から過去の発話を選択）を適用し、過学習の低減と一般化性能の向上を図る。
• 音声-翻訳ペアとテキストのみのデータを用いた事前学習と共同微調整により、モデルを訓練することで文脈学習を強化する。
• 会話的距離スコアを評価するため、BERT文の埋め込みをオラクルとして用い、連続する仮説間の一貫性を測定する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みテキスト埋め込み（fastText, BERT）は、エンドツーエンド音声認識における会話的文脈表現を向上させることができるか？
• RQ2 直前の発話数とサンプリング戦略の違いが、文脈に配慮した音声認識の性能に与える影響は何か？
• RQ3 ゲーティング統合機構は、音声、単語、会話的文脈埋め込みを効果的に統合し、認識精度を向上させることができるか？
• RQ4 ラベル付き音声データが限られている状況で、テキストのみのデータを用いた共同学習が、モデル性能をどの程度向上させられるか？
• RQ5 ベースラインと比較して、モデルは隣接する発話間でどの程度会話の一貫性を保っているか？

主な発見

• 提案モデルは、ベースラインのエンドツーエンドモデルと比較して、Switchboardコーパスで15%の相対的単語誤り率（WER）低減を達成した。
• CallHomeサブセットでは5%の相対的WER改善を示し、会話的音声認識において一貫した性能向上を確認した。
• 20%の発話サンプリングレート（過去の発話をモデル出力から部分的にサンプリング）が、開発セットの精度を最も高めることが判明し、一般化性能の向上を示唆した。
• BERT埋め込み類似度で測定した会話的距離の観点から、モデルの仮説は参照翻訳と7.4%相対的に近づいており、より優れた文脈的一致性を示した。
• 外部埋め込み（fastText, BERT）とゲーティング機構を組み合わせることで、その統合なしのモデルと比較して顕著に優れた文脈表現が得られた。
• モデルは長時間の会話に良好に一般化でき、対話システムやセンチメント分析などの他の文脈依存型音声タスクへの応用も可能である。