[論文レビュー] HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference

Tianyu Liu, Xin Zheng+2 more|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 2被引用数 11

ひとこと要約

この論文は、前提文と仮説の推論に依存するのではなく、仮説内の人工的なパターンに依存する自然言語推論（NLI）モデルにおける仮説のみのバイアスを調査・軽減するためのフレームワーク、HypoNLIを紹介する。著者たちは、ラベルと相関するすなわち「'video games' → contradiction」のようなすなわち、誤ったパターンを抽出し、そのパターンと逆のもの（ハード）と一致するもの（イージー）を含む敵対的テストセットを構築した。その結果、BERT や RoBERTa といったモデルはイージーなセットでは95％以上の精度を達成したが、ハードなセットでは60％未満に低下し、表面的な手がかりに強く依存していることが明らかになった。

ABSTRACT

Many recent studies have shown that for models trained on datasets for natural language inference (NLI), it is possible to make correct predictions by merely looking at the hypothesis while completely ignoring the premise. In this work, we manage to derive adversarial examples in terms of the hypothesis-only bias and explore eligible ways to mitigate such bias. Specifically, we extract various phrases from the hypotheses (artificial patterns) in the training sets, and show that they have been strong indicators to the specific labels. We then figure out `hard' and `easy' instances from the original test sets whose labels are opposite to or consistent with those indications. We also set up baselines including both pretrained models (BERT, RoBERTa, XLNet) and competitive non-pretrained models (InferSent, DAM, ESIM). Apart from the benchmark and baselines, we also investigate two debiasing approaches which exploit the artificial pattern modeling to mitigate such hypothesis-only bias: down-sampling and adversarial training. We believe those methods can be treated as competitive baselines in NLI debiasing tasks.

研究の動機と目的

• NLI モデルが前提文と仮説の推論に依存するのではなく、仮説内の人工的なパターンにどれほど依存しているかを調査すること。
• 訓練データ内の特定のラベルと強く相関する誤ったフレーズパターン（例：'video games' → contradiction）を同定・抽出すること。
• これらのパターンに基づいて、人工的なパターンと反対のもの（ハード）と一致するもの（イージー）を含む敵対的テストセットを構築すること。
• イージーとハードなサブセット間の性能差を評価し、モデルが仮説のみのバイアスにどれほど依存しているかを定量化すること。
• ダウンサンプリングや敵対的訓練といったバイアス除去戦略の有効性を評価すること。

提案手法

• SNLI および MultiNLI の訓練セットにおける仮説から、頻出する多語種フレーズおよびユニグラムパターンを抽出し、その条件付き確率 p(label|pattern) を計算する。
• 抽出されたパターンに基づいて、テストインスタンスを「イージー」（正解ラベルがパターンの示唆と一致）と「ハード」（正解ラベルがパターンの示唆と矛盾）に分類する。
• BERT、RoBERTa、XLNet、InferSent、DAM、ESIM といった複数の NLI モデルを、イージーおよびハードなサブセットで訓練・評価し、性能の差を測定する。
• 2つのバイアス除去技術を適用する：バイアスのある訓練インスタンスのダウンサンプリング、および変更された仮説を用いた敵対的訓練により、人工的パターンへの依存を低減する。
• パターン-ラベルの条件付き確率を用いて、最も顕著なフレーズ（例：'Nobody' → SNLI で 99.7％の矛盾）を同定し、そのモデル予測への影響を検証する。
• イージーとハードなセットにおけるモデルの性能を比較し、仮説のみのバイアスの程度を定量化する。精度の低下は、モデルがそのようなバイアスに脆弱であることを示している。

実験結果

リサーチクエスチョン

• RQ1 SNLI および MultiNLI における仮説内の人工的フレーズパターンが、特定の NLI ラベルとどれほど強く相関しているか。
• RQ2 最先端の NLI モデルが、前提文と仮説の推論に代えて、これらの人工的パターンにどれほど依存しているか。
• RQ3 イージー（パターンと一致）とハード（パターンと矛盾）のテストインスタンスにおいて、モデルの性能と一般化能力はどのように変化するか。
• RQ4 ダウンサンプリングおよび敵対的訓練は、NLI モデルにおける仮説のみのバイアスを効果的に軽減できるか。
• RQ5 事前学習済みモデルと非事前学習モデルの異なるアーキテクチャは、仮説のみのバイアスに対してどのように感受性が異なるか。

主な発見

• 仮説内の人工的パターン、たとえば 'Nobody' や 'video games' は、特定のラベルと極めて高い相関を示す。例として、SNLI では 'Nobody' が 99.7％の精度で矛盾を予測する。
• InferSent などのモデルは、イージーなインスタンス（パターンと一致）では95％を超える精度を達成するが、ハードなインスタンス（パターンと矛盾）では60％未満に低下し、人工的手がかりに強く依存していることが示された。
• BERT や RoBERTa、XLNet といった高度なモデルですら、ハードなセットで顕著な性能低下を示しており、複雑さにもかかわらず仮説のみのバイアスに脆弱であることが明らかになった。
• ダウンサンプリングや敵対的訓練といったバイアス除去手法は、イージーとハードなセット間の性能差を低減し、人工的パターンへの依存を軽減する有効性を示した。
• イージーとハードなセット間の性能差は、モデルが本質的なテキスト帰属推論の推論に依存しているのではなく、表面的なパターンに過剰に適合していることを強く示す指標となった。
• 本研究は、標準的な NLI データセットで学習されたモデルが、その頑健性が過大評価されている可能性があることを明らかにした。なぜなら、モデルは学習の一般化可能な推論パターンを学んでおらず、アノテーションのアーチファクトを利用しているからである。