[論文レビュー] Evaluating NLP Models via Contrast Sets

Matt Gardner, Yoav Artzi+24 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 64被引用数 61

ひとこと要約

この論文は、意味を保ちながら正解ラベルを変更するように手動で作成されたテストインスタンスの摂動（対照セット）を導入し、NLPデータセットにおける体系的な欠落を露呈する。対照セット上でモデルを評価することで、著者らは元のテストセットと比較して顕著な性能低下（最大25%）を示し、モデルが真の言語理解ではなく単純で頑健でない意思決定ルールに依存していることが明らかになった。

ABSTRACT

Standard test sets for supervised learning evaluate in-distribution generalization. Unfortunately, when a dataset has systematic gaps (e.g., annotation artifacts), these evaluations are misleading: a model can learn simple decision rules that perform well on the test set but do not capture a dataset's intended capabilities. We propose a new annotation paradigm for NLP that helps to close systematic gaps in the test data. In particular, after a dataset is constructed, we recommend that the dataset authors manually perturb the test instances in small but meaningful ways that (typically) change the gold label, creating contrast sets. Contrast sets provide a local view of a model's decision boundary, which can be used to more accurately evaluate a model's true linguistic capabilities. We demonstrate the efficacy of contrast sets by creating them for 10 diverse NLP datasets (e.g., DROP reading comprehension, UD parsing, IMDb sentiment analysis). Although our contrast sets are not explicitly adversarial, model performance is significantly lower on them than on the original test sets---up to 25\% in some cases. We release our contrast sets as new evaluation benchmarks and encourage future dataset construction efforts to follow similar annotation processes.

研究の動機と目的

• 標準的なNLPテストセットに存在する体系的な欠落のため、モデルの評価が誤解を招く問題に対処すること。
• 対照セットを生成することで、これらの欠落を特定・是正する新しいアノテーションパラダイムを提案すること。
• 小さな意味的変更に対してモデルの頑健性を測ることで、モデル評価の正確性を向上させること。
• 10種類の多様なNLPデータセットにおいて、対照セットの有効性を示し、モデルが対照セットでは元のテストセットよりも顕著に性能を落とすことを実証すること。

提案手法

• データセット構築後、著者らはテストインスタンスを小さな意味的変更を加える形で手動で摂動させ、通常は正解ラベルを変更する。
• 摂動は最小限でありながら意味的に有意義なものであり、元のインスタンスの文脈を保ちつつ正しいラベルを変更するように設計されている。
• 得られた対照セットは、モデルの意思決定境界の局所的視覚を提供し、誤ったパターンへの依存を明らかにする。
• 対照セットは、DROP、IMDb、依存解析タスクを含む10種類の多様なNLPデータセットに対して作成された。
• モデルは元のテストセットと対照セットの両方で評価され、性能低下が測定された。
• このアプローチは敵対的ではないが、データセットのアーチファクトに起因する失敗事例を際立たせることで、モデルの脆さを露呈する。

実験結果

リサーチクエスチョン

• RQ1 標準的なNLPテストセットが体系的な欠落を含むため、どれほどモデルの真の言語的能力を正しく評価できていないのか。
• RQ2 対照セットは、モデルが頑健な言語理解ではなく誤ったパターンに依存していることをどれほど効果的に露呈できるか。
• RQ3 対照セットで評価した際の性能低下の大きさは、元のテストセットと比較してどの程度か。
• RQ4 対照セットは多様なNLPタスクにわたって体系的に構築可能であり、信頼できる評価ベンチマークとして機能するか。

主な発見

• 対照セットにおけるモデルの性能は、元のテストセットと比較して顕著に低下し、一部のデータセットでは最大25%の低下が観察された。
• 性能低下は、モデルが一般化可能な言語的パターンを学習するのではなく、データセットのアーチファクトを利用していることを示している。
• 対照セットは、読解理解、センチメント分析、構文解析を含む10種類の多様なNLPデータセットにおける体系的な欠落を効果的に暴いた。
• 提案手法は敵対的学習や複雑な最適化を必要としないが、モデルの弱みを効果的に露呈する。
• 対照セットは今後のNLP研究におけるより頑健なデータセット構築を促進するため、新しい評価ベンチマークとして公開された。
• このアプローチは、非敵対的摂動ですら、モデルの一般化能力における深刻な欠陥を暴く可能性を示している。