[論文レビュー] Towards Robustifying NLI Models Against Lexical Dataset Biases

Xiang Zhou, Mohit Bansal|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 37被引用数 4

ひとこと要約

本稿では、自然言語推論（NLI）モデルにおける語彙的バイアスを低減するモデルレベルのデバイアス化手法を提案する。特に、矛盾語バイアス（CWB）と語のオーバーラップバイアス（WOB）を対象としている。袋の単語（BoW）サブモデルを導入し、それをメインモデルと直交させるように制約することで、バイアスに依存する傾向を顕著に低減する一方で、高い全体的な精度を維持する。この手法は、データレベルのデバイアス化や埋め込みレベルのデバイアス化手法を上回る性能を示す。

ABSTRACT

While deep learning models are making fast progress on the task of Natural Language Inference, recent studies have also shown that these models achieve high accuracy by exploiting several dataset biases, and without deep understanding of the language semantics. Using contradiction-word bias and word-overlapping bias as our two bias examples, this paper explores both data-level and model-level debiasing methods to robustify models against lexical dataset biases. First, we debias the dataset through data augmentation and enhancement, but show that the model bias cannot be fully removed via this method. Next, we also compare two ways of directly debiasing the model without knowing what the dataset biases are in advance. The first approach aims to remove the label bias at the embedding level. The second approach employs a bag-of-words sub-model to capture the features that are likely to exploit the bias and prevents the original model from learning these biased features by forcing orthogonality between these two sub-models. We performed evaluations on new balanced datasets extracted from the original MNLI dataset as well as the NLI stress tests, and show that the orthogonality approach is better at debiasing the model while maintaining competitive overall accuracy. Our code and data are available at: https://github.com/owenzx/LexicalDebias-ACL2020

研究の動機と目的

• NLIモデルにおける語彙的データセットバイアスが、単にデータレベルのデバイアス化によって完全に是正可能かどうかを調査すること。
• 既存の性別バイアス軽減手法が、NLIにおける語彙的バイアスに適用可能かどうかを評価すること。
• バイアスパターンの事前知識がなくても、語彙的ショートカットに対して堅牢なNLIモデルを構築するための新しいモデルレベルのアプローチを検討すること。
• BoWサブモデルとメインモデルとの間の直交性を強制することで、バイアスに起因する特徴の学習を抑制する手法を開発・評価すること。

提案手法

• 語のオーバーラップや否定語といった、データセットバイアスを引き起こしやすい語彙的特徴を捉えるために、袋の単語（BoW）サブモデルを導入する。
• メインモデルの隠れ表現とBoWサブモデルとの間の直交性を、射影機構（HEX）を用いて強制することで、メインモデルがバイアスに依存するのを防ぐ。
• メインモデルとBoWサブモデルを同時に学習させ、共通の損失関数を用いて、バイアスに起因する語彙的パターンの学習を避けるように正則化する。
• LIMEを用いた定性的分析により、直交性機構が「no」のようなバイアス語から、時間的動詞やコンテンツ語といった意味的に関連する特徴へ注目をシフトさせる様子を可視化する。
• MNLIから抽出したバランスデータセットと、敵対的ストレステストデータセットを用い、CWBおよびWOBに対する耐性を評価する。
• 複数のBoWサブモデルをアンサンブル化するアプローチを検討し、多様な語彙的バイアスにわたる一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 NLIモデルにおける語彙的データセットバイアスは、単にデータレベルのデバイアス化によって完全に除去可能か？
• RQ2 性別バイアス向けに開発された既存のデバイアス化手法は、NLIにおける語彙的バイアスに対しても適用可能か？
• RQ3 特に直交特徴分解を用いたモデルレベルの正則化は、語彙的ショートカットへの依存を効果的に低減できるか？
• RQ4 BoWサブモデルとメインモデルとの間の直交性を強制することで、全体性能を損なわずにもかかわらず、耐性が向上するか？

主な発見

• データ拡張や合成データによるデータレベルのデバイアス化は、大規模なデータ追加を行っても、モデルバイアスの低減にわずかにしか寄与せず、完全な除去には至らない。
• 埋め込みレベルのデバイアス化は語彙的バイアスに対して効果を示さない。これは、このようなバイアスが埋め込みレベルに捉えられていないが、より高次の構文的・意味的合成に起因していることを示唆している。
• 直交性正則化を施したBoWサブモデルは、CWBおよびWOBの両テストセットで顕著な耐性向上を示し、ストレステストデータセットではAcc_hrが最大15%向上した。
• モデルは競争力のある全体精度を維持しており、MNLIおよびストレステストデータセットにおいて、ベースラインと比較してそれぞれ1.4%および1.3%の精度低下にとどまった。
• LIMEを用いた定性的分析により、BoWサブモデルを適用した後、モデルが「no」のようなバイアス語から、時間的動詞やコンテンツ語の一致といった意味的に関連する特徴へ注目をシフトしていることが確認された。
• 複数のBoWサブモデルをアンサンブル化することで、WOBのストレステストではわずかな向上が得られたが、すべての設定で一貫した改善は得られず、単一サブモデルの直交性がすでに極めて有効であることが示唆された。