[論文レビュー] Less is Better: Recovering Intended-Feature Subspace to Robustify NLU Models

Ting Wu, Tao Gui|arXiv (Cornell University)|Sep 16, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、バイアスアノテーションに依存せずに、潜在空間における余分なショートカット特徴を除去することで意図された特徴部分空間を回復する、知識フリーなデバイアス化フレームワークRISKを提案する。RISKは、バイアスアノテーションに依存せず、堅牢な一般化を実現する。RISKは複数のNLUタスクで最先端の性能を達成し、分布外および敵対的ベンチマークで既存手法を上回り、最も情報量が多く共通する特徴を捉える低次元の幾何学的中央値ベースの部分空間を学習することで実現する。

ABSTRACT

Datasets with significant proportions of bias present threats for training a trustworthy model on NLU tasks. Despite yielding great progress, current debiasing methods impose excessive reliance on the knowledge of bias attributes. Definition of the attributes, however, is elusive and varies across different datasets. Furthermore, leveraging these attributes at input level to bias mitigation may leave a gap between intrinsic properties and the underlying decision rule. To narrow down this gap and liberate the supervision on bias, we suggest extending bias mitigation into feature space. Therefore, a novel model, Recovering Intended-Feature Subspace with Knowledge-Free (RISK) is developed. Assuming that shortcut features caused by various biases are unintended for prediction, RISK views them as redundant features. When delving into a lower manifold to remove redundancies, RISK reveals that an extremely low-dimensional subspace with intended features can robustly represent the highly biased dataset. Empirical results demonstrate our model can consistently improve model generalization to out-of-distribution set, and achieves a new state-of-the-art performance.

研究の動機と目的

• 既存のデバイアス化手法が高コストでデータセット固有のバイアスアノテーションに強く依存しているという限界を解消すること。
• 入力レベルのバイアス監視とモデル予測を駆動する内在的意思決定ルールのギャップを埋めること。
• 事前に定義されたバイアス属性に依存するのを避けるために、特徴空間への焦点のシフトを通じてデバイアス化を解放すること。
• 潜在空間における余分なショートカット特徴を除去することで、モデルの一般化を堅牢に改善できることを示すこと。
• 再訓練やバイアス固有のチューニングを必要とせず、データセットに依存しないエンドツーエンドの方法を開発し、堅牢な予測に必要な低次元で情報量の多い特徴部分空間を明らかにすること。

提案手法

• RISKは、特徴を低次元多様体に射影する回復層を備えたオートエンコーダベースのアーキテクチャを採用する。
• エンドツーエンドで意図された特徴部分空間を回復するために、幾何学的中央値部分空間を用いて直交プロジェクタを学習する。
• バイアスによって誘発されるショートカット特徴を冗長とみなして、部分空間射影によって除去する。
• バイアスありとバイアスなしの例の両方で最も情報量が多く共通する特徴を保持するために、幾何学的中央値部分空間を計算する。
• バイアス属性の監視を一切行わず、特徴レベルの冗長性低減にのみ依存して訓練する。
• 回復された低次元部分空間を下流分類タスクに使用し、分布シフトに対して堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的なバイアスアノテーションに依存せずに、NLUモデルにおけるデータセットバイアスを軽減できるか？
• RQ2 潜在空間における冗長なショートカット特徴を特定・除去することで、モデルの堅牢性を向上させられるか？
• RQ3 低次元の幾何学的中央値ベースの特徴部分空間は、堅牢な予測に必要な本質的な意味を捉えられるか？
• RQ4 知識フリーで特徴空間に基づくアプローチは、分布外および敵対的テストセットに対してより良い一般化性能を示せるか？
• RQ5 特徴空間における冗長性の除去は、入力レベルや監視ベースのデバイアス化手法と比較してどのように異なるか？

主な発見

• RISKは、いかなるバイアス属性監視を用いずに、3つのNLUタスクで最先端の性能を達成した。
• モデルは分布外のテストセットにおいて一貫して一般化性能を向上させ、分布シフトに対して堅牢であることを示した。
• RISKは敵対的テストセットでも既存のデバイアス化手法を上回り、摂動に対して強い堅牢性を示した。
• 回復された低次元部分空間は意図された特徴を効果的に捉えており、「少ないほうが良い」特徴表現の有効性を裏付けた。
• 幾何学的中央値部分空間の射影により、冗長なショートカット特徴が成功裏に除去されつつ、予測の意味論が保持された。
• この手法はデータセットに依存せず、再訓練やバイアス固有のチューニングを必要とせず、多様なNLUベンチマークに良好に一般化された。