[論文レビュー] Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering

Chenyu You, Nuo Chen+1 more|arXiv (Cornell University)|Oct 21, 2020

Speech and dialogue systems被引用数 6

ひとこと要約

本稿では、CADNetと呼ばれる文脈的なアテンションに基づく知識蒸留フレームワークを提案する。このフレームワークは、クロスアテンションと自己アテンションを活用して、手動で作成されたテキストとASRで変換されたテキストを一致させることで、スプoken対話型質問応答（SCQA）の性能を向上させる。また、教師-生徒フレームワークを用いてASRに強い知識を転送する。この手法はSpoken-CoQAデータセットで最先端の性能を達成し、非常にノイズの多いトランスクリプトにおいてもF1スコアが最大59.6%まで向上した。

ABSTRACT

Spoken conversational question answering (SCQA) requires machines to model complex dialogue flow given the speech utterances and text corpora. Different from traditional text question answering (QA) tasks, SCQA involves audio signal processing, passage comprehension, and contextual understanding. However, ASR systems introduce unexpected noisy signals to the transcriptions, which result in performance degradation on SCQA. To overcome the problem, we propose CADNet, a novel contextualized attention-based distillation approach, which applies both cross-attention and self-attention to obtain ASR-robust contextualized embedding representations of the passage and dialogue history for performance improvements. We also introduce the spoken conventional knowledge distillation framework to distill the ASR-robust knowledge from the estimated probabilities of the teacher model to the student. We conduct extensive experiments on the Spoken-CoQA dataset and demonstrate that our approach achieves remarkable performance in this task.

研究の動機と目的

• 自動音声認識（ASR）による誤りがトランスクリプトのテキストに及ぼす影響により、スプoken対話型質問応答（SCQA）の性能が低下する問題に対処すること。
• 複数ターンの対話における文脈的理解を保持しつつ、ノイズの多いASRトランスクリプトに対してモデルのロバスト性を向上させること。
• 文脈的理解を向上させるために、参照テキスト（手動）とASRで変換されたテキストの両方をアテンション機構を用いて統合すること。
• 教師モデルが綺麗な参照テキストで学習したロバストな知識を、ノイズの多いASRデータで学習する生徒モデルに転送する知識蒸留フレームワークを設計すること。
• ASR単語誤り率（WER）の異なるレベルにおいて、提案手法の有効性を評価すること。

提案手法

• CADNetは、手動で作成された参照テキストとASRで変換された本文・対話文の間の文脈的表現を、クロスアテンションと自己アテンション機構を用いて一致させる。
• 教師-生徒の蒸留フレームワークを採用し、綺麗な参照テキストで学習された教師モデルが、ノイズの多いASRトランスクリプトで学習する生徒モデルにソフトラベルの監視を提供する。
• トランスフォーマーに基づくエンコーダーを用いて、マルチヘッドアテンションにより文脈的表現を学習し、BPEトークン化を用いる場合、サブワードトークンのBERT埋め込みを平均化して特徴融合を実現する。
• 温度パrameterを用いたソフトラベル損失を用いた知識蒸留を適用し、交差エントロピーと蒸留の目的関数をバランスさせるハイパーパrameter α = 0.9 を設定する。
• フレームワークはSpoken-CoQAデータセットで評価され、テキストベースとASRで変換されたトレーニングセットの両方でモデルのファインチューニングが行われる。
• 評価には、正確一致（EM）とF1スコアを用い、フレームレベルのF1スコアを用いて異なるWERレベルでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いASRトランスクリプトに直面した場合、文脈的なアテンション機構はSCQAにおける表現学習を改善できるか？
• RQ2 綺麗なテキストで学習した教師モデルからの知識蒸留は、ノイズの多いASRデータ上で学習する生徒モデルのロバスト性を向上させるか？
• RQ3 提案手法は、ASRトランスクリプトにおける単語誤り率（WER）の異なるレベルでどのように性能を発揮するか？
• RQ4 クロスアテンションと自己アテンションを組み合わせることで、SCQAにおける複数ターン対話理解がどの程度向上するか？
• RQ5 提案手法は、BERT、ALBERT、FlowQA、SDNetといった強力なベースラインを上回る性能を示すか？

主な発見

• CADNetに文脈的アテンションと知識蒸留（CA+KD）を適用した場合、手動トランスクリプトではF1スコア54.7%、ASRトランスクリプトでは39.9%を達成し、ベースラインよりそれぞれ3.1ポイントおよび5.2ポイント高い。
• SDNetにCA+KDを適用した場合、手動トランスクリプトでF1スコア56.5%、ASRトランスクリプトで57.7%を達成し、ベースラインよりそれぞれ4.0ポイントおよび4.6ポイント高い。
• BERT-baseにCA+KDを適用した場合、手動トランスクリプトでF1スコア58.8%、ASRトランスクリプトで59.6%を達成し、ベースラインよりそれぞれ3.0ポイントおよび3.6ポイント高い。
• ALBERT-baseにCA+KDを適用した場合、手動トランスクリプトでF1スコア57.7%、ASRトランスクリプトで58.7%を達成し、ベースラインよりそれぞれ3.6ポイントおよび3.5ポイント高い。
• 提案手法は、すべての評価対象モデルで一貫した改善を示しており、多様なアーキテクチャへの汎用性を示している。
• WERの増加に伴っても性能が安定しており、高WRレベルでも顕著な向上が確認され、ASRノイズに対して高いロバスト性を確認した。