[論文レビュー] SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering

Yung-Sung Chuang, Chi-Liang Liu+2 more|arXiv (Cornell University)|Oct 25, 2019

Topic Modeling参考文献 37被引用数 29

ひとこと要約

本稿では、エンドツーエンドの spoken question answering (SQA) のための音声とテキストを統合的に事前学習した言語モデル SpeechBERT を提案する。このモデルは、生の音声とテキストから文脈を捉えた埋め込み表現を直接学習し、特に音声認識（ASR）エラーが答えのスパンに影響するケースにおいて、変換エラーが発生する前段階で意味情報を捉えることで、カスケード型 ASR-TQA システムを上回る性能を発揮する。

ABSTRACT

While various end-to-end models for spoken language understanding tasks have been explored recently, this paper is probably the first known attempt to challenge the very difficult task of end-to-end spoken question answering (SQA). Learning from the very successful BERT model for various text processing tasks, here we proposed an audio-and-text jointly learned SpeechBERT model. This model outperformed the conventional approach of cascading ASR with the following text question answering (TQA) model on datasets including ASR errors in answer spans, because the end-to-end model was shown to be able to extract information out of audio data before ASR produced errors. When ensembling the proposed end-to-end model with the cascade architecture, even better performance was achieved. In addition to the potential of end-to-end SQA, the SpeechBERT can also be considered for many other spoken language understanding tasks just as BERT for many text processing tasks.

研究の動機と目的

• カスケード型 ASR+TQA システムの限界を受ける、SQA における ASR エラーが答えのスパンを損なう課題に対処する。
• SQA のための音声とテキスト表現を統合的に学習するエンドツーエンドの統一モデルを構築し、ASR を回避する。
• 変換の前段階で、音声信号から意味的および音声的特徴を直接抽出できるようにモデルを設計し、ASR エラーに対する耐性を高める。
• エンドツーエンドの SQA において、音声とテキストの事前学習を統合することで、カスケードアーキテクチャと同等またはそれ以上の性能を達成できることを実証する。特にエラーに敏感なケースで優位性を示す。
• BERT がテキストの一般用途としての可能性を示したのと同様に、SpeechBERT が他の spoken language understanding タスクに対しても汎用的ツールとしての可能性を検討する。

提案手法

• 大規模な音声およびテキストデータセットを用いて、BERT の事前学習と類似したマスキング音声およびテキストモデリング（MLM）を用いて、音声とテキストの統合モデルを事前学習する。
• 既存の ASR システムを用いた強制的アライメントにより、正解トランスクリプトを基に音声を単語レベルの単位（音声単語）に分割し、テキストトークンとアライメントを取る。
• マスキングされた音声セグメントと対応するテキストトークンを同時に予測するようにモデルを学習し、モダリティ間で共有される意味表現を学習する。
• エンドツーエンド学習とスパン予測ヘッドを用いて、SQuAD 風の spoken question answering データセット上で事前学習済みの SpeechBERT を微調整する。
• エンドツーエンドの SpeechBERT モデルとカスケード型 ASR+TQA モデルをアンサンブルし、相補的な知識を統合して全体の性能を向上させる。
• フレーム単位の F1 および答えのスパン選択（AOS）メトリクスを用いて性能を評価し、特に ASR エラーを含む SQuAD-lost および正しく認識されたスパンを有する Spoken SQuAD の両方で評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの音声・テキスト統合モデルは、SQA において標準的なカスケード型 ASR+テキスト質問応答パイプラインを上回ることができるか？
• RQ2 音声信号から意味情報を直接学習することで、エンドツーエンドモデルは、ASR エラーが発生した答えのスパンをどれほど回復できるか？
• RQ3 ASR 単語誤り率（WER）が異なるレベルにおいて、エンドツーエンドモデルの性能はカスケードモデルと比べてどの程度異なるか？
• RQ4 マスキング音声およびテキストモデリング（MLM）による事前学習は、直接微調整する場合と比較して、下流の SQA 性能を向上させるか？
• RQ5 エンドツーエンドモデルとカスケードモデルをアンサンブルすることで、個々のコンポonent よりも優れた結果が得られるか？

主な発見

• エンドツーエンドの SpeechBERT モデルは、SQuAD-lost のスパンが ASR で誤って認識されたケースを含む Spoken SQuAD データセットにおいて、カスケード型 ASR+TQA システムを上回った。
• SQuAD-lost のサブセットでは、エンドツーエンドモデルがカスケード型モデルよりも顕著に高いフレーム単位の F1 を達成し、ASR エラーが発生する前段階で音声から意味情報を直接学習できる能力を示した。
• カスケード型モデルとアンサンブルした場合、SpeechBERT は Spoken SQuAD で最先端の性能を達成し、個々のコンポーネントを上回った（表1の行(h)）。
• WER が 40% を超えると、エンドツーエンドモデルとカスケード型モデルの性能差が拡大した。これは、エンドツーエンドモデルが ASR エラーに対してより耐性があることを確認した。
• アブレーションスタディの結果、マスキング音声およびテキストモデリング（MLM）による事前学習が極めて重要であることが判明した。これを除去すると、性能が著しく低下した（表1の行(f) vs (e)）。
• 正解トランスクリプトから得られるより良い単語境界を用いることで性能向上が観察された。これは、現在の性能がセグメンテーションの品質に制限されていることを示唆している。