[論文レビュー] Syntactic Data Augmentation Increases Robustness to Inference Heuristics

Junghyun Min, R. Thomas McCoy+3 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 30被引用数 13

ひとこと要約

この論文は、自然言語推論における句構造の推論ヒューリスティクスに対するBERTの頑健性を向上させるために、主語・目的語の入れ替えを用いた構文的データ拡張を提案する。MNLIの訓練データにたった405件の構文的に変換された例を追加するだけで、語順への感受性を診断するHANSチャレンジセットにおけるモデルの正確性は0.28から0.73に上昇し、他の構文構造への一般化も示された。これは、表現の不備よりも「見過ごされた接続」仮説を支持する。

ABSTRACT

Pretrained neural models such as BERT, when fine-tuned to perform natural language inference (NLI), often show high accuracy on standard datasets, but display a surprising lack of sensitivity to word order on controlled challenge sets. We hypothesize that this issue is not primarily caused by the pretrained model's limitations, but rather by the paucity of crowdsourced NLI examples that might convey the importance of syntactic structure at the fine-tuning stage. We explore several methods to augment standard training sets with syntactically informative examples, generated by applying syntactic transformations to sentences from the MNLI corpus. The best-performing augmentation method, subject/object inversion, improved BERT's accuracy on controlled examples that diagnose sensitivity to word order from 0.28 to 0.73, without affecting performance on the MNLI test set. This improvement generalized beyond the particular construction used for data augmentation, suggesting that augmentation causes BERT to recruit abstract syntactic representations.

研究の動機と目的

• BERTが構文的に難しいNLI例で低性能を示すのは、微調整中に構文構造に十分にさらされていないためであり、本質的な表現の制限によるものではないかを調査すること。
• MNLIの訓練データに構文的に変換された例を追加することで、BERTの語順や構文構造への感受性が向上するかを検証すること。
• 改善効果が、拡張プロセスで使用されなかった構文構造にも一般化されるかを評価し、「見過ごされた接続」仮説と「表現の不備」仮説を区別すること。
• 最小限で的を射たデータ拡張が、標準ベンチマークでの性能を損なうことなく、モデルの頑健性を顕著に向上させられるかを特定すること。

提案手法

• MNLI文のサブセットに対して、主に主語／目的語の入れ替えを含む構文的変換を生成し、拡張された訓練例を作成した。
• 元のMNLI例と新たに生成された構文的に拡張された例を組み合わせたデータセットでBERTを微調整した。
• モデルの語順や構文構造への感受性を診断するために、制御されたHANSチャレンジセットの例を使用した。
• 語彙的オーバーラップ、部分列、成分ヒューリスティクスを診断するHANSサブケースでの性能を評価し、拡張サイズの違いを比較した。
• 異なる拡張セットサイズ（n=101, 405, 1215）でモデルを訓練し、スケーラビリティと一般化能力を評価した。
• 標準MNLIテストセットでのモデル性能を比較して、標準タスクの正確性に悪影響がないかを確認した。

実験結果

リサーチクエスチョン

• RQ1 MNLIの訓練データに構文的に変換された例を追加することで、BERTの自然言語推論における語順への感受性が向上するか？
• RQ2 データ拡張による改善効果は、拡張プロセスで使用されなかった構文構造に対しても一般化されるか？
• RQ3 観察された改善効果は、「学習された構文的特徴の使用不足」（「見過ごされた接続」仮説）を支持するものか、それとも「表現に構文的特徴が欠けている」（「表現の不備」仮説）かを支持するか？
• RQ4 訓練データの0.1％に相当する最小限のデータ拡張（405例）で、構文的チャレンジセットにおける頑健性を顕著に向上させられ、標準ベンチマークでの性能に悪影響を与えないか？

主な発見

• 主語／目的語の入れ替えによる拡張により、語順感受性を診断するHANS例におけるBERTの正確性は0.28から0.73に顕著に向上した。
• 改善効果は他の構文構造に対しても一般化された：相対節の例では正確性が0.33から0.83に、受動態構文では0.67から0.99に上昇した。
• 標準MNLIテストセットでの性能は安定を保ち、顕著な低下はなく、標準NLI性能に悪影響がないことが示された。
• 部分列ヒューリスティクスおよび成分ヒューリスティクスを診断するケースでも性能が向上し、より広範な構文的頑健性が示された。
• 結果は「見過ごされた接続」仮説を支持しており、BERTはすでに構文的表現を学習しているが、構文的構造に重点を置いた訓練例が不足しているためにそれを活用できないことが示唆された。
• わずか405件の拡張例（MNLI訓練データの0.1％）でも顕著な向上が得られたため、この拡張手法の高いデータ効率性が示された。