[論文レビュー] Counterfactually-Augmented SNLI Training Data Does Not Yield Better Generalization Than Unaugmented Data

William C. Huang, Haokun Liu+1 more|arXiv (Cornell University)|Oct 9, 2020

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本研究では、対向的補強を施したSNLI学習データが、補強なしデータと比較してモデルの一般化性能および頑健性を向上させるかを評価する。RoBERTaを補強済み（CNLI）、補強なしSNLI、およびシード例のみのCNLIサブセットで微調整したモデルを用いて、同規模の補強なしデータと比較して顕著な一般化性能の向上は得られず、一部のケースでは補強が頑健性を損なうことも判明した——特に否定を含むチャレンジ例において顕著だった。これは、現在のクラウドソーシングによる対向的補強が、頑健なNLUモデルの学習には効果的でないことを示唆している。

ABSTRACT

A growing body of work shows that models exploit annotation artifacts to achieve state-of-the-art performance on standard crowdsourced benchmarks---datasets collected from crowdworkers to create an evaluation task---while still failing on out-of-domain examples for the same task. Recent work has explored the use of counterfactually-augmented data---data built by minimally editing a set of seed examples to yield counterfactual labels---to augment training data associated with these benchmarks and build more robust classifiers that generalize better. However, Khashabi et al. (2020) find that this type of augmentation yields little benefit on reading comprehension tasks when controlling for dataset size and cost of collection. We build upon this work by using English natural language inference data to test model generalization and robustness and find that models trained on a counterfactually-augmented SNLI dataset do not generalize better than unaugmented datasets of similar size and that counterfactual augmentation can hurt performance, yielding models that are less robust to challenge examples. Counterfactual augmentation of natural language understanding data through standard crowdsourcing techniques does not appear to be an effective way of collecting training data and further innovation is required to make this general line of work viable.

研究の動機と目的

• 対向的補強を施したSNLIデータが、補強なしデータと比較してモデルの一般化性能および頑健性を向上させるかを調査すること。
• データセットサイズとアノテーションコストを制御した状態で、対向的補強の利点が継続的に得られるかを評価すること。
• 語彙的多様性とデータ補強のどちらがNLIモデルの性能向上に寄与しているかを検討すること。
• 診断用チャレンジセット（特に否定および語の重複ヒューリスティクス）を用いて、対向的例の影響がモデルの頑健性に与える影響を評価すること。
• 現在のクラウドソーシングプロトコルが、頑健なNLUモデルの学習に適した訓練データを生成できるかを検証すること。

提案手法

• 補強済みCNLI（8.3k例）、補強なしSNLIの8.3kサブセット、および元の1.7k CNLIシード例の3つの学習セットでRoBERTaモデルを微調整した。
• モデルをMNLI（ドメイン外NLIベンチマーク）および特定のヒューリスティクスに焦点を当てた2つの診断セット（Naik et al. (2018) および Wang et al. (2019a)）で評価した。
• 標準的なNLI指標（帰属、矛盾、ニュートラルの正答率）を測定し、n-gramカウント（n=1から4）を用いて語彙的多様性を分析した。
• 仮説に「and false is not true」を追加した否定のチャレンジ例に対してモデルの挙動を比較し、否定ヒューリスティクスへの感受性をテストした。
• 補強の影響をデータサイズから分離するため、制御された比較を実施し、補強の価値を公正に評価した。
• シード例から得られる性能向上が、語彙的多様性の増加によるものか、それとも対向的例の含むことによるものかを分析した。

実験結果

リサーチクエスチョン

• RQ1 対向的補強を施したSNLIデータで学習したモデルは、同規模の補強なしSNLIデータで学習したモデルと比較して、ドメイン外一般化性能が向上するか？
• RQ2 対向的補強例の含みが、診断用チャレンジセット（特に否定および語の重複ヒューリスティクス）におけるモデルの頑健性を向上させるか？
• RQ3 補強による性能向上の程度が、対向的例の意味的対比ではなく、語彙的多様性の増加に起因するか？
• RQ4 標準的なクラウドソーシングによる対向的補強は、補強なしデータで学習したモデルと比較して、より良い一般化性能や頑健性を示すモデルを生成できるか？
• RQ5 現在のクラウドソーシングプロトコルのもとで、同程度のアノテーションコストを要する場合、対向的補強によるデータ拡張にネットの利点があるか？

主な発見

• 対向的補強済みCNLIデータで学習したモデルは、同規模の補強なしSNLIサブセットで学習したモデルと比較して、MNLIにおけるドメイン外一般化性能に顕著な向上を示さなかった。
• 否定のチャレンジセットでは、CNLIで学習したモデルの性能が、補強なしSNLIサブセットまたはCNLIシード例のみで学習したモデルよりも悪く、頑健性の低下を示した。
• CNLIがCNLIシードセットを上回る性能向上は、主に語彙的多様性の増加に起因しており、4-gramの固有語彙数が21.5kから42.5kにほぼ2倍に増加した。
• 最小限の編集制約のもとでも、CNLIは同規模の補強なしSNLIセットに比べて2-、3-、4-gramの語彙タイプを約70%しか含まず、1例あたりの語彙的多様性は限定的だった。
• 著者らは、対向的補強が頑健性を向上させる証拠を一切得られず、むしろ否定語と矛盾予測の関連性といった既存のヒューリスティクスを強化する可能性があると結論づけた。
• クラウドワーカーがターゲット編集と新規例作成に同程度の時間を費やすと考えられるため、現在のアプローチは、頑健なモデルを学習するための標準的データ収集手法に比べて明確な利点を提供しない。