[論文レビュー] Adversarial NLI: A New Benchmark for Natural Language Understanding

Yixin Nie, Adina Williams+4 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 63被引用数 66

ひとこと要約

ANLI の紹介—人間とモデルをループさせる手法で三回実施される大規模な敵対的収集型 NLI ベンチマーク。これにより難易度の高いテストセットが生まれ、ANLIデータで訓練するとSNLIおよびMNLIで最先端の結果を達成します。

ABSTRACT

We introduce a new large-scale NLI benchmark dataset, collected via an iterative, adversarial human-and-model-in-the-loop procedure. We show that training models on this new dataset leads to state-of-the-art performance on a variety of popular NLI benchmarks, while posing a more difficult challenge with its new test set. Our analysis sheds light on the shortcomings of current state-of-the-art models, and shows that non-expert annotators are successful at finding their weaknesses. The data collection method can be applied in a never-ending learning scenario, becoming a moving target for NLU, rather than a static benchmark that will quickly saturate.

研究の動機と目的

• 既存のデータセットを超えるモデルの弱点を明らかにする、長期的でより難易度の高い NLI ベンチマークの創出を動機づける。
• HAMLET (Human-And-Model-in-the-Loop Enabled Training) を提案し、モデルの誤りを狙う敵対的な例を人間から反復的に収集する。
• ANLI で訓練することがロバスト性を向上させ、SNLI および MNLI で最先端の結果を達成することを示す。
• 現在のモデルを惑わせる推論のタイプを分析し、アノテータのバイアスとデータセットのダイナミクスを評価する。

提案手法

• HAMLET を用いて難易度を段階的に上げる三回のラウンドで NLI データを反復的に収集する。人間が現行モデルを誤らせることを意図した仮説を作成する。
• 訓練用およびテスト分割の正しいラベルを保証するため、複数の人間バリデータでライターの正確性を検証する。
• 蓄積データ上で各ラウンドごとに新しいモデルを訓練（後半ラウンドではアンサンブルも）し、検証済みの誤りのみから新しいテストセットを作成する。
• Wikipedia、HotpotQA、ニュース、フィクション、法的/オープンドメインのトランスクリプトなど、多様なソースから得た長くて複数文の文脈を使用して推論の難易度を高める。
• アノテータが提供する説明と例ごとの推論タイプラベルを含め、モデルの弱点をより細かく分析できるようにする。

実験結果

リサーチクエスチョン

• RQ1 人間とモデルをループさせたデータ収集により、現在の最先端モデルにはほどよく抵抗する移動可能でより難しい NLI ベンチマークを作成できるか？
• RQ2 対戦的なANLIデータで訓練することが、標準的なNLIベンチマーク（SNLI/MNLI）およびストレステストにおける性能とロバスト性を向上させるか？
• RQ3 現代のNLIモデルを惑わせる主要な推論タイプは何であり、ラウンドを重ねるごとにモデルの弱点はどう進化するか？
• RQ4 限定的なテストアノテータは顕著な文体バイアスを導入するか、そしてそれが一般化にどう影響するか？
• RQ5 敵対的データはロバスト性を向上させるために従来のNLIデータよりデータ効率が高いか？

主な発見

• ANLIの三回のラウンド手順は、モデルがより堅牢になるにつれて各ラウンドでモデル誤差率が減少する、難易度が増していくテストセットを生み出す。
• RoBERTa は ANLI でファインチューニングした場合 SNLI (92.9) および MNLI (matched 91.0 / mismatched 90.7) で最先端を達成し、これらのベンチマークで従来のベースラインを上回る。
• ANLI データで訓練することは SNLI、MNLI、およびストレステスト全般でロバスト性を向上させ、従来データと比較して敵対的な例のデータ効率を示している。
• Hypothesis-onlyモデルはANLIで性能が低く、特に後半のラウンドでは推論が仮説の表面的な手掛かりを超える本質的な依存を示唆している。
• Exclusive test annotators は一般的なテストセットとほとんど差がなく、アノテータのスタイルへの過剰適合が限定的であることを示す。