[論文レビュー] Unlearn Dataset Bias in Natural Language Inference by Fitting the Residual

He He, Sheng Zha+1 more|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 46被引用数 18

ひとこと要約

この論文では、自然言語仮説検証（NLI）のためのデバイアス化手法DRiFtを提案する。DRiFtは、バイアスのあるモデルの残差にフィットするようにモデルを訓練することで、バイアスのある特徴が失敗する難しい例に注目し、データセットバイアスをunlearnする。このアプローチは、標準ベンチマークで強い性能を維持しながら、チャレンジデータセットでの性能を向上させ、否定語のような誤った手がかりによる分布シフトに対して頑健であることを示している。

ABSTRACT

Statistical natural language inference (NLI) models are susceptible to learning dataset bias: superficial cues that happen to associate with the label on a particular dataset, but are not useful in general, e.g., negation words indicate contradiction. As exposed by several recent challenge datasets, these models perform poorly when such association is absent, e.g., predicting that "I love dogs" contradicts "I don't love cats". Our goal is to design learning algorithms that guard against known dataset bias. We formalize the concept of dataset bias under the framework of distribution shift and present a simple debiasing algorithm based on residual fitting, which we call DRiFt. We first learn a biased model that only uses features that are known to relate to dataset bias. Then, we train a debiased model that fits to the residual of the biased model, focusing on examples that cannot be predicted well by biased features only. We use DRiFt to train three high-performing NLI models on two benchmark datasets, SNLI and MNLI. Our debiased models achieve significant gains over baseline models on two challenge test sets, while maintaining reasonable performance on the original test sets.

研究の動機と目的

• 訓練データ上でラベルと相関する表面的特徴（例：否定語）に過剰に依存するNLIモデルの脆さを是正すること。
• 分布シフトの下でバイアスのある特徴が予測力を持たなくなる状況を、ラベルシフト問題として形式化すること。
• 表面的相関を低減しつつ、有用な意味的情報を保持するデバイアス化手法を開発すること。
• 標準ベンチマークの性能を低下させることなく、分布外およびチャレンジテストセットでの一般化性能を向上させること。

提案手法

• 訓練データ上でラベルと相関する表面的特徴（例：語彙的重複、否定語）のみを用いてバイアスのあるモデルを訓練する。
• 各例について、バイアスのあるモデルの予測と真のラベルとの間の残差損失を計算する。
• バイアスのあるモデルの損失の負の勾配を最小化するように、残差損失が大きい（すなわち難しい例）に注目して、デバイアス化モデルを訓練する。
• 推論にはデバイアス化モデルを用い、バイアスをunlearnすると同時に意味理解を保持する。
• SNLIおよびMNLIデータセット上で、3つのSOTA NLIモデル（例：BERT、CBOW、DA）にこの手法を適用する。
• 事前に得られたデータセットバイアスに関する知識（例：否定語との関連）を活用し、残差フィッティングプロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 バイアスのある特徴が失敗する例に注目することで、モデルがデータセットバイアスをunlearnできるか？
• RQ2 残差フィッティングは、分布外およびチャレンジテストセットでの一般化を向上させるか？
• RQ3 有用な意味的特徴を削除せずにデバイアス化は達成可能か？
• RQ4 この手法は、異なるモデルアーキテクチャおよびNLIベンチマークでどのように性能を発揮するか？

主な発見

• DRiFtは、2つのチャレンジデータセット（RTEおよびMultiNLI-Adv）で顕著な性能向上を示した一方で、標準テストセットでも競争力ある正確性を維持した。
• MultiNLI-Advテストセットでは、デバイアス化モデルが顕著な向上を示し、分布シフトに対する頑健性の向上が裏付けられた。
• DRiFt-CBOWでデバイアス化されたモデルは、分布内データで最小限の性能低下を示し、有用な意味的情報を効果的に保持していることが示唆された。
• BERTベースのモデルは、分布内例でほとんど性能低下を示さなかったため、高容量モデルは残差フィッティングによって性能を損なわず、恩恵を受けることが示された。
• この手法は、最大尤度推定で訓練されたベースラインモデルよりもチャレンジセットで優れた性能を示し、データセットバイアスの緩和に有効であることが実証された。