[論文レビュー] Simple but effective techniques to reduce biases.

Rabeeh Karimi Mahabadi, James H. Henderson|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling被引用数 23

ひとこと要約

本稿では、NLUモデルのデータセットバイアスを軽減するシンプルでモデルに依存しない手法を提案する。この手法は、バイアスにのみ依存する軽量なバイアス専用モデルを訓練し、その予測結果に基づいて学習中の損失を調整することで、バイアスの強い例の重みを低下させる。このアプローチにより、ドメイン外データセットにおけるモデルの頑健性が向上し、FEVER symmetric、HANS、SNLI hardセットそれぞれで9.76点、5.45点、4.78点の向上を達成した。

ABSTRACT

There have been several studies recently showing that strong natural language understanding (NLU) models are prone to relying on unwanted dataset biases without learning the underlying task, resulting in models which fail to generalize to out-of-domain datasets, and are likely to perform poorly in real-world scenarios. We propose several learning strategies to train neural models which are more robust to such biases and transfer better to out-of-domain datasets. We introduce an additional lightweight bias-only model which learns dataset biases and uses its prediction to adjust the loss of the base model to reduce the biases. In other words, our methods down-weight the importance of the biased examples, and focus training on hard examples, i.e. examples that cannot be correctly classified by only relying on biases. Our approaches are model agnostic and simple to implement. We experiment on large-scale natural language inference and fact verification datasets and their out-of-domain datasets and show that our debiased models significantly improve the robustness in all settings, including gaining 9.76 points on the FEVER symmetric evaluation dataset, 5.45 on the HANS dataset and 4.78 points on the SNLI hard set. These datasets are specifically designed to assess the robustness of models in the out-of-domain setting where typical biases in the training data do not exist in the evaluation set.

研究の動機と目的

• NLUモデルが一般化可能なタスクパターンを学習するのではなく、ありきたりなデータセットバイアスに依存する問題に対処すること。
• 学習データのバイアスが成り立たないドメイン外データセットへの一般化を向上させること。
• アーキテクチャの変更を要しないシンプルでモデルに依存しない手法を開発し、頑健性を向上させること。
• バイアスに依存しては解けない難しい例に注目することで、真の理解を促進すること。
• 大規模なNLUベンチマークにおける表面的な統計的手がかりへの過剰な依存を軽減すること。

提案手法

• データセット固有のバイアスにのみ依存する軽量なバイアス専用モデルを訓練し、ラベルを予測する。
• バイアスモデルの予測結果を用いて、本体モデルの損失を調整し、バイアスの強い例の寄与度を低下させる。
• バイアスモデルが正しく予測した例については損失を低減し、難易度の高い例に注目を向ける。
• この手法はモデルに依存せず、最小限の実装コストで任意のニューラルNLUモデルに適用可能である。
• このアプローチにより、パターンマッチングではなく真の理解を必要とする例から学習するよう本体モデルが促進される。
• 本体モデルとバイアスモデルを同時に最適化する訓練プロセスを採用し、バイアスモデルが正則化子として機能する。

実験結果

リサーチクエスチョン

• RQ1 軽量なバイアス専用モデルは、NLUモデルにおけるデータセットバイアスを効果的に特定・軽減できるか？
• RQ2 バイアスの強い例の重みを下げる処理は、ドメイン外評価における一般化性能を向上させるか？
• RQ3 バイアスに基づく分類に抵抗する難易度の高い例に注目することで、モデルの頑健性はどの程度向上するか？
• RQ4 本手法は、既知のバイアス問題を有する多様なNLUベンチマークでどの程度有効か？
• RQ5 このアプローチは、アーキテクチャの変更なしに、さまざまなモデルアーキテクチャに普遍的に適用可能か？

主な発見

• バイアス除去モデルはFEVER symmetric評価セットで9.76ポイントの向上を達成し、強い頑健性の向上を示した。
• HANSベンチマークでは5.45ポイントの向上が観察され、ドメイン外の悪意ある例に対する性能向上が裏付けられた。
• SNLI hardセットでは4.78ポイントの向上が得られ、非自明でバイアスに抵抗する例に対する学習の向上が確認された。
• 本手法は、バイアスが評価データに存在しない場合でも、すべてのテスト済みドメイン外データセットにおいて一般化性能を顕著に向上させた。
• モデルに依存しない性質のおかげで、異なるNLUタスクおよびモデルアーキテクチャにおいても有効である。
• 軽量なバイアスモデルは誤ったパターンを効果的に特定し、性能を損なうことなく適切な損失調整を可能にした。