[論文レビュー] Avoiding Reasoning Shortcuts: Adversarial Evaluation, Training, and Model Development for Multi-Hop QA

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 26被引用数 4

ひとこと要約

この論文は、HotpotQAデータセットにおける推論の短絡的アプローチを特定し、モデルが真の構成的推論ではなく単一ホップの語の一致によってマルチホップの質問に答えるのを可能にするものである。本研究では、これらの短絡的アプローチを排除するための敵対的ドキュメント生成を提案し、動的で質問誘導型のマルチホップ注意を制御するユニットを導入した。また、このアーキテクチャを備えたモデルが、ベースラインと比較して敵対的評価において著しく高い耐性と性能を示すことを実証した。

ABSTRACT

Multi-hop question answering requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. In this paper, we show that in the multi-hop HotpotQA (Yang et al., 2018) dataset, the examples often contain reasoning shortcuts through which models can directly locate the answer by word-matching the question with a sentence in the context. We demonstrate this issue by constructing adversarial documents that create contradicting answers to the shortcut but do not affect the validity of the original answer. The performance of strong baseline models drops significantly on our adversarial evaluation, indicating that they are indeed exploiting the shortcuts rather than performing multi-hop reasoning. After adversarial training, the baseline's performance improves but is still limited on the adversarial evaluation. Hence, we use a control unit that dynamically attends to the question at different reasoning hops to guide the model's multi-hop reasoning. We show that this 2-hop model trained on the regular data is more robust to the adversaries than the baseline model. After adversarial training, this 2-hop model not only achieves improvements over its counterpart trained on regular data, but also outperforms the adversarially-trained 1-hop baseline. We hope that these insights and initial improvements will motivate the development of new models that combine explicit compositional reasoning with adversarial training.

研究の動機と目的

• モデルが真のマルチホップ推論を回避するのを可能にするHotpotQAデータセットにおける推論の短絡的アプローチを露呈し、評価すること。
• 意味的に妥当なが誤りである代替物に置き換えることで、支持文書のキーエンティティを変更し、矛盾する答えを生成することで、これらの短絡的アプローチを排除する敵対的ドキュメントを生成すること。
• 敵対的訓練を通し、モデルの耐性を向上させるとともに、動的で質問誘導型のマルチホップ注意を制御するユニットを導入すること。
• 明示的な構成的推論メカニズムが敵対的環境下で標準モデルを上回ることを実証すること。

提案手法

• 回答スパンとドキュメントタイトルを変更することで、短絡的アプローチを悪用するモデルをだますような矛盾する答えを生成する敵対的ドキュメント生成。
• 支持文書の重要なエンティティを意味的に妥当だが誤りな代替物に置き換えることで、敵対的開発セット（adv-dev）と訓練セット（adv-train）を構築すること。
• 各推論ステップで関連する質問語に動的に注目できる再帰的制御ユニットを備えた2ホップモデルを設計し、バイアテンション機構を制御すること。
• 訓練中に支援的事実の監視を統合することで、証拠の根拠付けを促進し、表面的な一致に依存するのを減らすこと。
• 生成された敵対的データ上でベースラインおよび2ホップモデルを敵対的訓練することで、耐性を向上させること。
• 標準スプリットおよび敵対的スプリットの両方でモデルの性能を評価し、一般化能力と推論の耐性を測定すること。

実験結果

リサーチクエスチョン

• RQ1 最新のHotpotQAモデルは、真のマルチホップ推論ではなく、どの程度推論の短絡的アプローチに依存しているのか？
• RQ2 敵対的ドキュメントは、モデルの短絡的アプローチの悪用に対する脆弱性を露呈し、測定するのにどの程度有効なのか？
• RQ3 敵対的訓練は、推論の短絡的アプローチを排除する例に対して、モデルの耐性を向上させることができるのか？
• RQ4 質問語に動的に注目を誘導する制御ユニットは、マルチホップ推論の性能を向上させることができるのか？
• RQ5 敵対的訓練を経た2ホップモデルは、敵対的訓練を経た1ホップベースラインを上回ることができるのか？

主な発見

• 強力なベースラインモデル（バイアテンション＋自己アテンション）の性能は、敵対的開発セットで著しく低下し、推論の短絡的アプローチに強く依存していることが示された。
• 支援的事実の監視により、ベースラインモデルの敵対的セットでの性能が向上した。これは、証拠の根拠付けが耐性を高めることを示している。
• 敵対的訓練により、ベースラインモデルの敵対的セットでの性能が向上したが、依然として標準開発セットでの性能より著しく低い水準にとどまった。
• 本研究で提案する制御ユニットを備えた2ホップモデルは、通常データで訓練された状態で、敵対的評価においてベースラインを上回った。これにより、耐性の向上が確認された。
• 敵対的訓練を経た後、2ホップモデルは敵対的訓練を経た1ホップベースラインよりも敵対的開発セットで高い性能を示した。これは、明示的な構成的推論の有効性を示している。
• 敵対的訓練を経た2ホップモデルはさらなる性能向上を示した。これは、明示的な推論と敵対的訓練を組み合わせることで耐性が向上することを確認した。