[論文レビュー] Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering

Angrosh Mandya, James O’Neill+2 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling被引用数 5

ひとこと要約

この論文は、推論時にモデル自身の予測された答えに依存する場合に生じる露出バイアスによって引き起こされる会話的質疑応答（CoQA）における誤りの累積問題を取り上げている。訓練中に正解とモデル予測の両方を動的に混合するスケジュールドサンプリング戦略を提案し、正解履歴が利用できない現実世界のテスト環境において、性能が著しく向上した。特に、長時間の会話や複雑な質問タイプでは、F1スコアが最大5.5%向上した。

ABSTRACT

The Conversational Question Answering (CoQA) task involves answering a sequence of inter-related conversational questions about a contextual paragraph. Although existing approaches employ human-written ground-truth answers for answering conversational questions at test time, in a realistic scenario, the CoQA model will not have any access to ground-truth answers for the previous questions, compelling the model to rely upon its own previously predicted answers for answering the subsequent questions. In this paper, we find that compounding errors occur when using previously predicted answers at test time, significantly lowering the performance of CoQA systems. To solve this problem, we propose a sampling strategy that dynamically selects between target answers and model predictions during training, thereby closely simulating the situation at test time. Further, we analyse the severity of this phenomena as a function of the question type, conversation length and domain type.

研究の動機と目的

• 推論時にモデル生成の答えが正解の答えに置き換わる場合に、露出バイアスがCoQAシステムの性能に与える影響を調査すること。
• 以前の質問からの誤った予測が、その後の質問の性能を劣化させるという誤りの累積問題を解消すること。
• 訓練中に正解と予測された答えを混合することで、実際の推論状況を模倣する訓練戦略を提案すること。
• さまざまな質問タイプ、会話の長さ、質問の長さの下で、提案手法の有効性を評価すること。
• テスト時に正解の答えへのアクセスを提供しない、見直された評価プロトコルの提唱すること。

提案手法

• 訓練中に正解の答えとモデル自身の予測を、徐々に減少するスケジュールに従って動的に選択するスケジュールドサンプリング（SS）の変種を提案する。
• 訓練中に正解の答えとモデルの予測を混合し、初期は完全な正解監視から、徐々に完全なモデル予測へとシフトする。
• 以前のエポックの予測と現在のモデル出力を組み合わせたサンプリング戦略を導入し、露出バイアスを低減する。
• モデル予測の使用確率を時間とともに増加させるカリキュラムのような訓練スケジュールを採用する。
• 教師あり学習とスケジュールドサンプリングを組み合わせてモデルを訓練し、実際の推論条件での一般化性能を向上させる。
• 後続の質問の文脈として、モデルの予測された答えのみが利用可能な現実的なテスト条件での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 推論時にモデル生成の答えが正解の答えに置き換わる場合、露出バイアスはCoQAモデルの性能にどのように影響するか？
• RQ2 スケジュールドサンプリングは、特に長時間の会話において、誤りの累積問題を緩和できるか？
• RQ3 現実的な推論条件の下で、さまざまな質問タイプ（例：yes/no、unknown、span）におけるCoQAモデルの性能はどのように変化するか？
• RQ4 会話の長さと質問の長さは、CoQAにおける誤りの累積の深刻さにどのような影響を及ぼすか？
• RQ5 テスト時に正解の答えが利用できない状況で、サンプリングに基づく訓練戦略はモデルの頑健性を向上させられるか？

主な発見

• 推論時に正解の答えの代わりにモデルの予測された答えを使用すると、性能が著しく低下し、特に長時間の会話では全体のF1が62.08から55.28に低下した。
• 長時間の会話（60.02 vs. 55.28）において、SS[BM, USR]はCoQAM_SMより全体のF1で5.5%向上し、特に「no」タイプの質問では59.89 vs. 51.37で顕著な向上を示した。
• 10語以上（≥10 tokens）の長文質問では、SS[BM, USR]が62.22のF1を達成し、CoQAM_SM（60.24）を上回った。これは、複雑なクエリに対して有効であることを示している。
• 短時間の会話（<12ラウンド）では、SS[BM, USR]は「yes」質問で2.76ポイント（73.33 vs. 70.55）、そして「no」質問で5.41ポイント（52.70 vs. 47.29）の向上を達成した。
• CoQAM_MPモデルは、すべての質問タイプにおいてCoQAM_SMより一貫して低い性能を示しており、標準的な訓練における露出バイアスの存在を裏付けた。
• 結果から、正解履歴をテスト時に提供する現在のCoQA評価プロトコルは、モデルの真の頑健性を隠蔽しており、見直すべきであることが示された。