[論文レビュー] A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension

Xanh Ho, Johannes Mario Meissner+2 more|arXiv (Cornell University)|Sep 5, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本調査は、機械読解（MRC）における推論の短絡的アプローチを測定および軽減するための技術を包括的にレビューし、モデルが真の推論を回避するのを助ける統計的相関に焦点を当てる。公開の挑戦セットの欠如や、他のNLP分野で有用なとされる軽減手法の未活用という重要なギャップを特定し、MRCにおけるより強固で一般化可能な評価および改善されたバイアス除去戦略の導入を提言する。

ABSTRACT

The issue of shortcut learning is widely known in NLP and has been an important research focus in recent years. Unintended correlations in the data enable models to easily solve tasks that were meant to exhibit advanced language understanding and reasoning capabilities. In this survey paper, we focus on the field of machine reading comprehension (MRC), an important task for showcasing high-level language understanding that also suffers from a range of shortcuts. We summarize the available techniques for measuring and mitigating shortcuts and conclude with suggestions for further progress in shortcut research. Importantly, we highlight two concerns for shortcut mitigation in MRC: (1) the lack of public challenge sets, a necessary component for effective and reusable evaluation, and (2) the lack of certain mitigation techniques that are prominent in other areas.

研究の動機と目的

• MRCデータセットにおける推論の短絡的アプローチを検出および測定するための既存手法を体系的に調査すること。
• 現在の軽減手法を分析し、さまざまなMRCベンチマークにおけるその有効性を評価すること。
• 短絡的アプローチ研究における深刻な欠陥、特に公開の挑戦セットの不在や未活用の軽減戦略を浮き彫りにすること。
• より広範なMRCデータセットにおける評価や、改善された敵対的例の質を含む、今後の研究方向性を提起すること。
• コンピュータビジョンやNLI分野で実証済みの軽減手法をMRCに統合し、モデルの耐性を高めることを促すこと。

提案手法

• アドバーシャル例の生成、アテンション解析、パターンプロービングなどのアプローチに基づいて、既存の推論の短絡的アプローチの測定手法を分類・分類すること。
• アドバーシャルトレーニング、データ拡張、プロンプト工学（例：チェーン・オブ・チョイス・プロンプティング）などの軽減戦略を調査すること。
• アドバーシャルSQuADやその他の挑戦セットにおけるモデルのパフォーマンスを評価し、短絡的利用に対する耐性を検証すること。
• アドバーシャル例の妥当性と自然さを分析し、モデルの失敗がアーティファクトではなく真の耐性の問題を反映しているかどうかを確認すること。
• 既存のMRCデータセットに基づいて、コミュニティ全体で利用可能な挑戦セットを設計するフレームワークを提言すること。
• マルチホップ、会話型、スパン抽出などの異なるMRCタスク間で軽減手法を比較し、一般化可能な手法を同定すること。

実験結果

リサーチクエスチョン

• RQ1 MRCデータセットに存在する主な種類の推論の短絡的アプローチは何か？ また、既存の測定手法により、それらはどのように検出されるか？
• RQ2 現在の軽減手法は、多様なMRCベンチマークにおいて短絡的依存をどれほど効果的に低減できるか？
• RQ3 MRCにおける短絡的アプローチの研究において、公開の挑戦セットの不在がなぜ評価と手法比較の主要な障壁となっているのか？
• RQ4 他のNLPやビジョン分野で用いられる軽減手法のうち、MRCにおける耐性向上に適応可能なものは何か？ そして、なぜそれらは未活用されているのか？
• RQ5 MRCで用いられるアドバーシャル例は、意味的整合性と自然な言語の質をどれほど保っているか？ これはモデル評価にどのように影響するか？

主な発見

• 多くのMRCモデルは、SQuADのようなベンチマークで高いパフォーマンスを達成しているが、これは推論ではなく、語の一致や質問の開始語のヒントといった浅い統計的パターンを利用しているためである。
• アドバーシャルSQuADは、短絡的アプローチの軽減を評価するための最も広く使われている挑戦セットであるが、その支配的状態は他のMRCデータセットにおけるより広範な評価を制限している。
• MRCにおける多数のアドバーシャル例は、不自然または意味的に劣化していると判明しており、モデルの失敗が真の耐性の問題を反映しているのか、あるいは誤った評価データに起因しているのか懸念が生じる。
• チェーン・オブ・チョイス・プロンプティングは推論の向上に有望であるが、マルチホップMRCにおける推論の短絡的アプローチの軽減能力については未検証であり、さらなる調査が求められる。
• 現在の軽減手法はSQuADに限定されており、他のMRCタスクへの一般化が不十分であるため、より一般化可能でスケーラブルな手法の開発が急務である。
• 非SQuADのMRCデータセットに対する標準化され、公開済みの挑戦セットが研究コミュニティに存在しないため、再現可能な進展や手法比較が妨げられている。