[論文レビュー] Evaluating Models' Local Decision Boundaries via Contrast Sets

Matt Gardner, Yoav Artzi+24 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 71被引用数 44

ひとこと要約

この論文は、テストインスタンス周りの専門家が作成した局所的撹乱として対比セットを導入し、モデルの局所的決定境界を検証する。10のNLPデータセット全体で頑健性のギャップを明らかにし、対比セットでの性能低下が顕著。

ABSTRACT

Standard test sets for supervised learning evaluate in-distribution generalization. Unfortunately, when a dataset has systematic gaps (e.g., annotation artifacts), these evaluations are misleading: a model can learn simple decision rules that perform well on the test set but do not capture a dataset's intended capabilities. We propose a new annotation paradigm for NLP that helps to close systematic gaps in the test data. In particular, after a dataset is constructed, we recommend that the dataset authors manually perturb the test instances in small but meaningful ways that (typically) change the gold label, creating contrast sets. Contrast sets provide a local view of a model's decision boundary, which can be used to more accurately evaluate a model's true linguistic capabilities. We demonstrate the efficacy of contrast sets by creating them for 10 diverse NLP datasets (e.g., DROP reading comprehension, UD parsing, IMDb sentiment analysis). Although our contrast sets are not explicitly adversarial, model performance is significantly lower on them than on the original test sets---up to 25\% in some cases. We release our contrast sets as new evaluation benchmarks and encourage future dataset construction efforts to follow similar annotation processes.

研究の動機と目的

• 素朴に訓練されたモデルが高い精度を達成できてしまうNLPのテストデータにおける体系的なギャップを特定する。
• テストのピボット周辺に対比セットを作成するためのアノテーション・パラダイムを提案する。
• 多様なタスクにおいて、モデルの局所的決定境界が真の言語現象とどの程度一致するかを評価する。

提案手法

• 入力空間における距離概念を用いて、ピボット x の周りに局所的決定境界を定義する。
• 専門家の撹乱によって、通常は正解ラベルを変える対比セット C(x) を構築する。
• 対比的一致性でモデルを評価する：C(x) に含まれるすべての (x', y') に対して予測がラベル y' と一致するか。
• i.i.d. のテストデータからピボットをサンプルし、訓練時に i.i.d. の対比セットを避けて人工的な境界を防ぐ。
• 読解、構文解析、感情分析などのタスクにまたがる10のNLPデータセットに、データセット固有の撹乱を適用する。
• 得られた対比セットを将来のデータセット構築と評価のベンチマークとして公開する。

実験結果

リサーチクエスチョン

• RQ1 テスト例の周りにある小さく、言語学的に意味のある撹乱の下で、モデルの予測はどう変化するか。
• RQ2 対比セットは、標準的な i.i.d. テストの精度には現れない局所的な決定境界の非整合を明らかにするか。
• RQ3 データセットを横断して体系的にモデル性能を低下させるタスク別の撹乱は存在するか。

主な発見

Dataset	# Examples	# Sets	Model	Original Test	Contrast	Difference	Consistency
NLVR2	994	479	LXMERT	76.4	61.1	(–15.3)	30.1
IMDb	488	488	BERT	93.8	84.2	(–9.6)	77.8
MATRES	401	239	CogCompTime2.0	73.2	63.3	(–9.9)	40.6
UD English	150	150	Biaffine + ELMo	64.7	46.0	(–18.7)	17.3
PERSPECTRUM	217	217	RoBERTa	90.3	85.7	(–4.6)	78.8
DROP	947	623	MTMSN	79.9	54.2	(–25.7)	39.0
QUOREF	700	415	XLNet-QA	70.5	55.4	(–15.1)	29.9
ROPES	974	974	RoBERTa	47.7	32.5	(–15.2)	17.6
BoolQ	339	70	RoBERTa	86.1	71.1	(–15.0)	59.0
MC-TACO	646	646	RoBERTa	38.0	14.0	(–24.0)	8.0

• 対比セットは元のテストセットと比較して10データセットすべてで性能を低下させ、ケースによっては最大25%まで低下。
• 対比セットでの一貫性は、対象データセットの現象と一致する局所的な変化をモデルが正しく処理することを必要とする。
• 異なるタスクとモデルは脆弱性の度合いが異なり、データセット設計と真の言語能力の間に広がるギャップを示している。
• 著者らは対比セット構築において統一的でありつつデータセットに合わせたアプローチを提供し、NLPタスク全般への一般的適用性を示している。