[論文レビュー] Learning De-biased Representations with Biased Representations

Hyojin Bahng, Sanghyuk Chun+3 more|arXiv (Cornell University)|Oct 7, 2019

Machine Learning and Data Classification被引用数 100

ひとこと要約

要約: 本論文は ReBias という正則化項を提案する。これは学習済み表現を、偏りに基づく表現の集合と統計的に独立に保つことで、明示的な偏りラベルを必要とせずにクロスバイアス一般化を向上させる。

ABSTRACT

Many machine learning algorithms are trained and evaluated by splitting data from a single source into training and test sets. While such focus on in-distribution learning scenarios has led to interesting advancement, it has not been able to tell if models are relying on dataset biases as shortcuts for successful prediction (e.g., using snow cues for recognising snowmobiles), resulting in biased models that fail to generalise when the bias shifts to a different class. The cross-bias generalisation problem has been addressed by de-biasing training data through augmentation or re-sampling, which are often prohibitive due to the data collection cost (e.g., collecting images of a snowmobile on a desert) and the difficulty of quantifying or expressing biases in the first place. In this work, we propose a novel framework to train a de-biased representation by encouraging it to be different from a set of representations that are biased by design. This tactic is feasible in many scenarios where it is much easier to define a set of biased representations than to define and quantify bias. We demonstrate the efficacy of our method across a variety of synthetic and real-world biases; our experiments show that the method discourages models from taking bias shortcuts, resulting in improved generalisation. Source code is available at https://github.com/clovaai/rebias.

研究の動機と目的

• クロスバイアス一般化を定義し、モデルが訓練データのショートカット偏りに依存する動機を示す。
• 明示的な偏りラベルを必要とせず、偏りを特徴づけるモデルクラス G を導入する。
• ReBias 正則化子を提案し、HSIC を用いてメイン予測子と偏った予測子との独立性を強制する。
• タスク損失とデバイアス除去を共に最適化する max-HSIC/minimisation フレームワークを用いた学習目的を提供する。
• 合成偏りと現実世界の偏り（Biased MNIST、ImageNet、アクション認識）で手法を実証する。

提案手法

• 設計上偏りを捉えるモデルクラス G を定義する（例：テクスチャ偏りのための小さな受容野 CNN、静的偏りのための 2D CNN など）。
• f(X)（主予測子）と g(X)（G に属する偏り予測子）間の HSIC に基づく独立性を定式化する。
• f の偏った予測から離れるよう、minimax 的な目的を用いて L(f,X,Y) + lambda * max_{g in G} HSIC(f(X), g(X)) を最小化する。さらに偏りモデルを正則化する項として max_{g in G} (HSIC(f,g) - lambda_g L(g)) を用いる。
• f と g を交互に訓練し、f がバイアス B ではなく信号 S を学習するようにする。
• 明示的な偏りラベルが利用できない設定でも、G によって偏りを捉えられる場合に ReBias を適用し、データ拡張や明示的な偏りの定量化なしでデ-biasing を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な偏りラベルを用意せず、偏りを特徴づけるモデルクラス G を用いてデ-biasing 目的を定式化できるか。
• RQ2 主モデルと偏りモデル間の独立性を促進することは、テクスチャ、静的性、その他の偏りを跨いだクロスバイアス一般化を改善するか。
• RQ3 HSIC ベースの正則化は、偏り対向モデルに対する f の学習的不変性にどのような影響を与えるか。
• RQ4 ReBias は合成的（biased MNIST）および現実世界の偏り（ImageNet、アクション認識）において、従来のデ-biasing 法と比較して効果的か。

主な発見

• ReBias は Biased MNIST の高度に偏った訓練シナリオにおいて、基準の biased パフォーマンスから偏りなしの高いパフォーマンスへと精度を向上させる。
• HEX および RUBi と比べて、バイアスクラス対ごとの改善がより均一で、実験における偏り一般化が改善される。
• ImageNet 実験では、ReBias は基準および一部の従来手法と比較して、テクスチャの偏りに対するロバスト性を向上させ、補助指標（ImageNet-A, ImageNet-C）での評価でも改善を示す。
• 学習曲線は、HSIC の低下と偏りのない精度の向上との強い相関を示し、正則化項が偏りに強い表現を促進することを示唆する。
• 本手法は明示的な偏りラベルを必要とせず、偏りを捉えるモデルクラス G に依存して妥当なショートカットを捉える点で、アクション認識や画像分類などの視覚タスクに適用可能である。