[論文レビュー] Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective

Shihan Dou, Rui Zheng+6 more|arXiv (Cornell University)|Feb 16, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、ランダムフォーリエ特徴（RFF）を用いて不要な特徴を非相関化し、相互情報量に基づく手法でその結果得られる特徴を浄化することで、テキストにおける誤った相関関係を軽減するエンドツーエンドフレームワークDeProを提案する。このアプローチは、NLUタスクにおける分布外一般化性能をSOTA水準にまで向上させ、MNLIおよびFEVERベンチマークにおいて従来のデバイアス手法を上回る性能を達成する。

ABSTRACT

Natural language understanding (NLU) models tend to rely on spurious correlations (i.e., dataset bias) to achieve high performance on in-distribution datasets but poor performance on out-of-distribution ones. Most of the existing debiasing methods often identify and weaken these samples with biased features (i.e., superficial surface features that cause such spurious correlations). However, down-weighting these samples obstructs the model in learning from the non-biased parts of these samples. To tackle this challenge, in this paper, we propose to eliminate spurious correlations in a fine-grained manner from a feature space perspective. Specifically, we introduce Random Fourier Features and weighted re-sampling to decorrelate the dependencies between features to mitigate spurious correlations. After obtaining decorrelated features, we further design a mutual-information-based method to purify them, which forces the model to learn features that are more relevant to tasks. Extensive experiments on two well-studied NLU tasks demonstrate that our method is superior to other comparative approaches.

研究の動機と目的

• バイアスのある特徴を有するサンプル全体を弱める既存のデバイアス手法の限界を解消し、バイアスのない部分からの学習を妨げないことを目的とする。
• 表現空間における不要な特徴と関連する特徴の間の依存関係を非相関化することで、特徴レベルでの誤った相関関係を軽減すること。
• 非局所的特徴を浄化することで、特徴の非相関化を促進し、タスクに必要な局所的特徴を強調することで、分布外（OOD）データにおけるモデルの一般化性能を向上させること。
• 外部のバイアスモデルを必要とせず、複雑で非微分可能な訓練手順を避ける、エンドツーエンドで計算的に効率的なフレームワークの構築を目的とする。

提案手法

• 入力特徴を高次元空間にマッピングするためのランダムフォーリエ特徴（RFF）を用い、線形および非線形な特徴依存関係の両方を非相関化可能にする。
• RFF変換された空間で重み付き再サンプリングを適用し、特徴間の共分散を低減することで、実効的な非相関化を実現する。
• 各入力サンプルにおける有用な局所的特徴（例えば、予測に寄与するトークン）を特定するためのサリエンシーマップベースの手法を導入する。
• 相互情報量に基づく戦略を用いて、文全体のグローバル表現を最も関連性の高い局所的特徴に一致させることで、浄化を行う。
• 特徴の非相関化と浄化を1つのエンドツーエンド訓練パイプラインに統合し、外部のバイアスモデルを必要とせず、同時に最適化を可能にする。
• 変圧器に基づく手法ではなくRFFを用いることで、特徴情報の損失を回避し、圧縮に起因する性能低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における特徴の非相関化は、有用な情報を損なうことなく誤った相関関係を効果的に低減できるか？
• RQ2 相互情報量に基づく特徴浄化は、OODデータにおけるモデル一般化性能をどのように向上させるか？
• RQ3 特徴の非相関化と浄化を組み合わせることで、個々のコンponentに比べて相乗効果が得られるか？
• RQ4 RFF次元数や浄化率といったハイパーパrameterが、誤った相関関係の除去能力にどのように影響するか？
• RQ5 RFFベースの非相関化は、NLUモデルにおける一般化能力の保持を考慮すると、VAEベースの手法よりも効果的か？

主な発見

• DeProは、MNLIおよびFEVERベンチマークの両方で、SOTAのOOD一般化性能を達成した。
• RFFを用いた特徴の非相関化は、ベースライン手法に比べて特徴間の共分散を顕著に低減し、依存関係の効果的な除去を実証した。
• 相互情報量に基づく特徴浄化により、モデルのタスクに必要な特徴への注目が強化され、不要なコンponents由来のノイズが低減した。
• RFFベースの非相関化は、IDおよびOOD両設定でβ-VAEを上回り、処理されていない表現を保持することで一般化性能が向上することを確認した。
• アブレーションスタディの結果、非相関化と浄化の両方が最適なパフォーマンスを発揮するために不可欠であり、その相乗効果が最良の結果をもたらした。
• 最適なパフォーマンスは中程度のRFF次元数および浄化率で達成され、さらに増加させると計算負荷の増大や情報損失により性能が低下した。