[論文レビュー] Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets

Ohad Rozen, Vered Shwartz+2 more|arXiv (Cornell University)|Oct 21, 2019

Machine Learning in Materials Science参考文献 25被引用数 4

ひとこと要約

本稿では、特定の敵対的データセットに過学習しているのではなく、文脈的現象（例：与格移動や数的推論）の一般化を評価するための制御されたばらつき手法を提案する。訓練およびテストデータセットにおける構文的複雑さと語彙的多様性（例：数値範囲）を体系的に変化させることで、BERTベースのモデルが異なる構文構造や数値範囲において一般化に失敗することを示している。これは、データセットの盲点を超えたモデルの本質的弱みを明らかにする。

ABSTRACT

Phenomenon-specific "adversarial" datasets have been recently designed to perform targeted stress-tests for particular inference types. Recent work (Liu et al., 2019a) proposed that such datasets can be utilized for training NLI and other types of models, often allowing to learn the phenomenon in focus and improve on the challenge dataset, indicating a "blind spot" in the original training data. Yet, although a model can improve in such a training process, it might still be vulnerable to other challenge datasets targeting the same phenomenon but drawn from a different distribution, such as having a different syntactic complexity level. In this work, we extend this method to drive conclusions about a model's ability to learn and generalize a target phenomenon rather than to "learn" a dataset, by controlling additional aspects in the adversarial datasets. We demonstrate our approach on two inference phenomena - dative alternation and numerical reasoning, elaborating, and in some cases contradicting, the results of Liu et al.. Our methodology enables building better challenge datasets for creating more robust models, and may yield better model understanding and subsequent overarching improvements.

研究の動機と目的

• ニューラルNLPモデルが言語的現象を一般化しているのか、それとも特定の敵対的データセットに過学習しているのかを評価すること。
• Liuら（2019a）のインoculation手法を、構文的複雑さや語彙的多様性などの言語的次元におけるばらつきを制御することで拡張すること。
• チャレンジデータセットで改善が見られたことが、現象そのものの真の学習を反映しているのか、それとも分布固有のパターンの記憶に過ぎないのかを特定すること。
• 特定の推論現象に適したより強固で一般化可能な訓練データの設計を支援すること。
• 微調整後でさえも残存する、モデルの本質的弱みを特定すること。

提案手法

• 著者らは、構文的複雑さや語彙的多様性（例：数値範囲）といった言語的次元に沿ったばらつきを制御するテンプレート法を用いて、合成された敵対的データセットを生成する。
• 彼らは、ばらつきが制御された訓練データセットでBERTベースのNLIモデルを微調整し、異なる分布からのテストデータセットでその性能を評価する。
• 与格移動の文脈では、意味的内容を維持したまま、構文構造（例：二目的構文対比の前置詞フレーズ構文）を変化させる。
• 数的推論の文脈では、構文を同一に保ったまま、算術的比較に使われる数値の範囲（例：30–49、60–79、200–299）を変化させる。
• 性能は、構文的および語彙的次元における分布が異なるテストデータセットでの正答率として測定され、一般化能力の評価が行われる。
• このアプローチにより、分布シフトに起因する一般化失敗と、モデルの帰納的バイアスに起因する失敗とを分離可能となる。

実験結果

リサーチクエスチョン

• RQ1 与格移動のための敵対的データセットで訓練されたNLPモデルは、構文的複雑さを一般化できるか？
• RQ2 数的推論におけるモデルの性能は、異なる数値範囲に一般化できるのか、それとも訓練範囲に限定されるのか？
• RQ3 チャレンジデータセットで成功した微調整が、現象そのものの真の学習を示しているのか、それとも分布固有のパターンの記憶に過ぎないのか、その程度はどの程度か？
• RQ4 構文や語彙的多様性といった言語的次元の制御された変化が、モデルの一般化限界をどのように明らかにするか？
• RQ5 モデルが異なるデータ分布間で一般化に失敗する場合、インoculationアプローチは誤解を招く可能性があるか？

主な発見

• 与格移動における構文的複雑さの一般化に、モデルは顕著な困難を示しており、安定した性能を得るには多様な構文構造を広範に訓練する必要がある。
• 訓練時に見なかったより複雑な構文構造のテストで、性能が最大3.2%低下し、構文的変化に対する一般化能力の低さが示された。
• 数的推論においては、異なる数値範囲への一般化に失敗しており、20,000件の訓練例を経ても、分布外の範囲では70%未満の正答率にとどまる。
• 同じ数値範囲を訓練とテストで使用した場合に比べ、性能が著しく高いことから、モデルは算術的ルールの学習ではなく、特定の数値ペアの記憶に依存していると示唆される。
• 結果は元のインオキュレーション分析と矛盾しており、単一のチャレンジデータセットで成功しても、真の一般化を反映しているとは限らないことが示された。これは、データセット固有の過学習に起因する可能性がある。
• 本研究は、多様な数値範囲にわたる数的推論を処理する能力に、モデルに本質的な弱みがあることを明らかにした。これは、強固なNLIシステムにとって深刻な制限要因である。