[論文レビュー] Towards Data Distillation for End-to-end Spoken Conversational Question Answering

Chenyu You, Nuo Chen+3 more|arXiv (Cornell University)|Oct 18, 2020

Topic Modeling参考文献 37被引用数 26

ひとこと要約

この論文では、120,000件を超えるQAペアを有する、音声とテキストを統合したマルチターン spoken コンバーショナルQAデータセット「Spoken-CoQA」と、ASR出力と参照トランスクリプションのずれを低減するための統合的データ蒸留フレームワーク「DDNet」を提案する。DDNetは、音声とテキスト特徴を統合し、クロスアテンションと知識蒸留を活用することで、BERTベースのモデルで最高44.8%のEMおよび59.6%のF1を達成し、ASR誤りに対して優れた耐性を示す。

ABSTRACT

In spoken question answering, QA systems are designed to answer questions from contiguous text spans within the related speech transcripts. However, the most natural way that human seek or test their knowledge is via human conversations. Therefore, we propose a new Spoken Conversational Question Answering task (SCQA), aiming at enabling QA systems to model complex dialogues flow given the speech utterances and text corpora. In this task, our main objective is to build a QA system to deal with conversational questions both in spoken and text forms, and to explore the plausibility of providing more cues in spoken documents with systems in information gathering. To this end, instead of adopting automatically generated speech transcripts with highly noisy data, we propose a novel unified data distillation approach, DDNet, which directly fuse audio-text features to reduce the misalignment between automatic speech recognition hypotheses and the reference transcriptions. In addition, to evaluate the capacity of QA systems in a dialogue-style interaction, we assemble a Spoken Conversational Question Answering (Spoken-CoQA) dataset with more than 120k question-answer pairs. Experiments demonstrate that our proposed method achieves superior performance in spoken conversational question answering.

研究の動機と目的

• リアルな人間-機械対話に即した、音声とテキストを統合したマルチターンspoken コンバーショナルQAデータセットの不足を解消すること。
• spoken QAシステムにおける自動音声認識（ASR）誤りによって引き起こされるパフォーマンス劣化を軽減すること。
• 音声とテキストのモダリティを統合的に活用することで、対話ベースのQAにおける文脈理解を向上させることの可能性を検討すること。
• 音声-テキスト対応関係を用いて、ノイズの多いASRトランスクリプションと参照トランスクリプションを一致させる統一的知識蒸留フレームワークの開発。
• エンドツーエンドspoken コンバーショナルQAにおけるモダリティ統合と蒸留戦略の有効性を評価すること。

提案手法

• ASR仮説と参照トランスクリプションを、音声-テキスト特徴の共同学習を通じて一致させる学生-教師パラダイムを用いた、新しいデータ蒸留フレームワーク「DDNet」を提案。
• スパークリングアテンション機構を用いて音声とテキスト埋め込みを統合し、学生モデルが両モダリティから学習し、ずれを低減できるようにする。
• 教師モデル（クリーンなテキストおよび音声用）から学生モデル（ノイズの多いASR出力用）へソフトラベルを効果的に転送するため、温度制御された知識蒸留戦略を導入。
• 二重ブランチのBERTベースアーキテクチャを採用：一方のブランチは音声特徴（ログメルスペクトログラム、MFCC）を処理し、もう一方はテキストを処理し、特徴の連結とクロスアテンション統合を実施。
• 複数の教師モデル（クリーンなテキスト、生の音声、ASRトランスクリプション）を用いて知識蒸留を実施し、学生モデルをガイド。
• アブレーションスタディにおいて、単純な連結（Con Fusion）をベースラインとして採用し、提案されたクロスアテンション統合と比較。

実験結果

リサーチクエスチョン

• RQ1 統一的データ蒸留フレームワークは、ノイズの多いASRトランスクリプションと参照トランスクリプションのずれを、spoken コンバーショナルQAで効果的に低減できるか？
• RQ2 音声とテキストの特徴を共同で学習することで、単一のモダリティ（音声またはテキスト）のみを用いる場合と比較して、QAパフォーマンスがどの程度向上するか？
• RQ3 複数の教師モデル（テキスト、音声、ASR）からの知識蒸留は、ASR誤りに対してQAシステムの耐性をどの程度向上させるか？
• RQ4 spoken QAにおけるモダリティ統合において、クロスアテンション統合は単純な連結（Con Fusion）を上回る性能を示すか？
• RQ5 このマルチモーダルでノイズの多いASR環境下で、知識蒸留の最適な温度ハイパーパrameterは何か？

主な発見

• DDNetはALBERT-baseモデルで44.8%のEMおよび59.6%のF1スコアを達成し、蒸留なしのベースラインと比較してF1スコアが3.6%絶対値で向上した。
• 知識蒸留戦略により、FlowQAではF1が3.1%、SDNetでは3.1%、BERT-baseでは2.9%向上し、アーキテクチャを問わず一貫した向上が確認された。
• クロスアテンション統合機構は、単純な連結（Con Fusion）ベースラインを上回り、CoQA開発セットで1.2%、Spoken-CoQAテストセットで1.1%のF1スコア向上を示した。
• 温度ハイパーパrameter τ = 2 が、すべての4つのベースライン（FlowQA、SDNet、BERT、ALBERT）で最良のパフォーマンスを発揮し、アブレーションスタディで確認された。
• テキストのみの入力が音声のみの入力よりも優れた性能を示し、音声特徴のみではノイズが増加する一方で、音声-テキスト統合によりパフォーマンスが顕著に向上した。
• DDNetはASR誤りの悪影響を軽減し、S-CoQAテストセットにおいて蒸留を適用したことで相対的にF1スコアが40.4%向上した。