[論文レビュー] Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets

Chuanrong Li, Lin Shengshuo+4 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本稿では、言語的文法（ERG）を用いて、標的を絞った構文的および意味的摂動を適用することで、NLPモデル向けに高品質な対照セットを自動生成する、言語的インスパイラションを受ける変換（LIT）を提案する。この手法により、モデルの頑健性を細かく探査でき、BERT や RoBERTa が単純な言語現象に対して体系的な失敗を示すことが明らかになり、分布内性能に悪影響を及げることなくデータ拡張によってモデルの一般化性能が向上する。

ABSTRACT

Although large-scale pretrained language models, such as BERT and RoBERTa, have achieved superhuman performance on in-distribution test sets, their performance suffers on out-of-distribution test sets (e.g., on contrast sets). Building contrast sets often re-quires human-expert annotation, which is expensive and hard to create on a large scale. In this work, we propose a Linguistically-Informed Transformation (LIT) method to automatically generate contrast sets, which enables practitioners to explore linguistic phenomena of interests as well as compose different phenomena. Experimenting with our method on SNLI and MNLI shows that current pretrained language models, although being claimed to contain sufficient linguistic knowledge, struggle on our automatically generated contrast sets. Furthermore, we improve models' performance on the contrast sets by apply-ing LIT to augment the training data, without affecting performance on the original data.

研究の動機と目的

• 分布内性能を超えた NLP モデルの頑健性を評価するための、大規模かつ高品質な対照セットの不足に対処すること。
• NLP における人手による対照セットの高コストとスケーラビリティの限界を克服すること。
• 時制の不一致、受動態化、モダリティなどの特定の言語現象におけるモデルの失敗を細かく分析できること。
• 言語的インスパイラションを受ける変換を用いて訓練データを拡張することで、モデルの一般化性能を向上させること。
• 従来の言語的知識が、データ駆動型 NLP モデルの評価および強化に依然として不可欠であることを示すこと。

提案手法

• LIT は意味-文脈理論に基づく ERG 文法を用いて入力文を解析し、変換に適した言語現象を同定する。
• 構文的および意味的ルールに基づく、時制のシフト、受動態化、it-clefting などの事前に定義された言語的変換を適用する。
• 変換は構文構造を保持しながら意味やラベルを変更するように体系的に適用され、最小限の摂動を確保する。
• 複数の変換を1つの例に組み合わせることで、合成的一般化を可能にし、複雑な探査シナリオを実現する。
• 1つの入力に対して複数の変換バリエーションを生成するため、モデル行動の多様で制御された評価が可能になる。
• SNLI および MNLI データセットにこのアプローチを適用し、人間による評価で生成された対照セットの高品質性が確認された。

実験結果

リサーチクエスチョン

• RQ1 言語的インスパイラションを受ける自動変換手法は、標準的なベンチマークでは露わにされないモデルの弱みを明らかにする高品質な対照セットを生成できるか？
• RQ2 BERT や RoBERTa などの最先端 NLP モデルは、LIT を用いて生成された対照セット、特に単純および合成的言語的摂動に対してどのように動作するか？
• RQ3 LIT を用いたデータ拡張によって、分布外テストセットにおけるモデルの頑健性はどの程度向上するか？ また、分布内性能に悪影響を及げることなくか？
• RQ4 SNLI や MNLI のような既存の NLI データセットにおいて、どの言語的現象が不足しているか？ そして、それがモデルの一般化にどのように影響しているか？
• RQ5 LIT を用いて拡張されたデータで微調整したモデルは、合成的一般化タスクにおけるパフォーマンスから、言語的変換のパターンを体系的に学習していると見なせるか？

主な発見

• BERT や RoBERTa は、時制の不一致のような単純な変換に対しても、LIT が生成した対照セットで顕著な性能低下を示しており、基本的な言語的摂動に対して頑健性に欠けることが明らかになった。
• LIT を用いて拡張されたデータで微調整したモデルは、元の分布内データの精度を損なうことなく、分布外テストセットでのパフォーマンスが向上した。
• RoBERTa は、単純な変換で微調整した後、受動態化と未来時制の組み合わせといった合成的変換に対して強いゼロショット性能を示した。これは、変換パターンの体系的な学習が行われたことを示唆している。
• 人間による評価で、LIT が生成した対照セットは高品質であり、意味的および構文的整合性が高く、正しいラベル変更がなされていることが確認された。
• SNLI および MNLI の分析から、顕著なデータバイアスが判明した：MNLI 文のうち未来時制の文はたった 2.95% にとどまり、受動態＋未来時制または未来時制＋受動態のペアは存在しなかった。これは、これらの変換に対するモデルの失敗を説明する要因である。
• 本手法は、約 20% の SNLI インスタンスを変換でき、文法解析の成功に依存してカバレッジが制限されているが、言語的知識をデータ拡張に統合するという概念の実証に成功した。