[論文レビュー] Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension

Chia-Hsuan Li, Szu-Lin Wu+2 more|arXiv (Cornell University)|Apr 1, 2018

Topic Modeling参考文献 27被引用数 28

ひとこと要約

この論文は、SQuADデータセットから抽出された自動音声認識（ASR）トランスクリプションを用いた機械読解評価を目的とした新しい聴取理解タスク、Spoken SQuADを紹介する。ASRの誤りがモデルの性能を著しく低下させることを示し、音素や音節といったサブワードレベルの表現を用いることでこれらの誤りを緩和する有効な手法を提案する。音素／音節埋め込みを用いたモデルは、ノイズの強いテストセットで最大38.46%のF1スコアを達成した。

ABSTRACT

Reading comprehension has been widely studied. One of the most representative reading comprehension tasks is Stanford Question Answering Dataset (SQuAD), on which machine is already comparable with human. On the other hand, accessing large collections of multimedia or spoken content is much more difficult and time-consuming than plain text content for humans. It's therefore highly attractive to develop machines which can automatically understand spoken content. In this paper, we propose a new listening comprehension task - Spoken SQuAD. On the new task, we found that speech recognition errors have catastrophic impact on machine comprehension, and several approaches are proposed to mitigate the impact.

研究の動機と目的

• ASR変換テキストを用いた話題の質疑応答（QA）のための新しいベンチマークを確立し、SQuADデータセットを拡張して聴取理解を評価する。
• 自動音声認識（ASR）誤りが機械読解モデルに与える悪影響を調査する。
• ASR誤りに対して耐性を持つQAモデルを向上させる技術を開発・評価する。特にサブワードレベルの表現を用いる。
• 複数のノイズレベルを含む、Spoken SQuADの標準化された評価プロトコルを提供する。

提案手法

• Googleのテキスト音声変換システムを用いてSQuADの記事を音声化し、CMU Sphinxを介してASRトランスクリプションを取得することで、テストセットでWERが22.73%のデータセットを構築した。
• モデルがASRトランスクリプション上でテストされる新しい評価プロトコルを構築し、正確一致（EM）、F1、およびAOS（回答オーバーラップスコア）を用いて性能を測定した。
• 音素と音節を用いたサブワードレベルの埋め込みを提案し、CNNベースのネットワークを用いて、ASR誤りに対してより耐性のある表現を学習した。
• BiDAFに基づく読解モデルに、語彙と文字の埋め込みに加えて、サブワード埋め込み（音素、音節）を統合し、耐性を高めた。
• クリーンなおよびノイズの強いASRトランスクリプションの両方でモデルを訓練・評価し、ノイズレベルを引き上げてWERをそれぞれ44.22%および54.82%にした。
• 音素-CNNにはフィルターサイズ3x6、80フィルタを、音節-CNNにはフィルターサイズ2x20、100フィルタを用い、サブワードユニットからの文脈的表現を学習した。

実験結果

リサーチクエスチョン

• RQ1 自動音声認識（ASR）誤りは、話題のコンテンツにおける最先端の読解モデルの性能にどのように影響するか？
• RQ2 音素や音節といったサブワードレベルの表現は、ASR誤りに対するQAモデルの耐性を向上させることができるか？
• RQ3 語彙、文字、音素、音節といった異なるサブワード表現の相対的な有効性は、ASR誤りの影響を軽減する上でどう異なるか？
• RQ4 実際の音声劣化状態におけるASR誤りの増加（WERで測定）に伴い、モデルの性能はどのように低下するか？
• RQ5 複数のサブワードユニット（例：語彙＋音素＋音節）を同時にモデリングすることで、ノイズの強いASR入力においてより優れた一般化性能が得られるか？

主な発見

• ASR誤りはQAモデルに壊滅的な影響を与える：クリーンなテキストで訓練されたBiDAFおよびDr.QAモデルは、ASRトランスクリプション上でテストした際、顕著な性能低下を示した。
• クリーンなテキストではなくASRトランスクリプションで訓練することで耐性が向上し、クリーンなテストセットでは33.53%のF1、44.22% WERのノイズの強いバージョンでは29.73%のF1を達成した。
• サブワードレベルの埋め込み、特に音素および音節のシーケンスは、標準的な語彙および文字埋め込みを著しく上回った。語彙＋文字＋音素＋音節埋め込みを組み合わせたモデルは、最大ノイズのテストセットで38.46%のF1スコアを達成した。
• 語彙、文字、音素、音節の埋め込みを統合したモデルは、全WRレベルで最高の性能を示し、54.82% WERのテストセットで38.46%のF1スコアを達成した。
• 定性的な分析により、サブワード埋め込みを用いたモデルは、ASR誤り（例：'harry' が 'area' に誤認識された場合）があっても正しく答えを特定できた一方、語彙埋め込みのみに依存するモデルは失敗した。
• ドロップアウト正則化は耐性を向上させたが、サブワード埋め込みははるかに大きな性能向上をもたらしたため、ASRノイズの処理においてその有効性が裏付けられた。