[論文レビュー] Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization

Kartik Ahuja, Ethan Caballero+5 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 44

ひとこと要約

本論文は、線形分類におけるOOD一般化には不変性だけでは不十分であることを示す。 不変性と情報ボトルネック制約を組み合わせることで、様々な特徴情報量に対して頑健なOOD一般化を実現しうることを、理論的結果と提案されたIB-IRM/IB-ERM法によって裏付けている。

ABSTRACT

The invariance principle from causality is at the heart of notable approaches such as invariant risk minimization (IRM) that seek to address out-of-distribution (OOD) generalization failures. Despite the promising theory, invariance principle-based approaches fail in common classification tasks, where invariant (causal) features capture all the information about the label. Are these failures due to the methods failing to capture the invariance? Or is the invariance principle itself insufficient? To answer these questions, we revisit the fundamental assumptions in linear regression tasks, where invariance-based approaches were shown to provably generalize OOD. In contrast to the linear regression tasks, we show that for linear classification tasks we need much stronger restrictions on the distribution shifts, or otherwise OOD generalization is impossible. Furthermore, even with appropriate restrictions on distribution shifts in place, we show that the invariance principle alone is insufficient. We prove that a form of the information bottleneck constraint along with invariance helps address key failures when invariant features capture all the information about the label and also retains the existing success when they do not. We propose an approach that incorporates both of these principles and demonstrate its effectiveness in several experiments.

研究の動機と目的

• 分類タスクにおける不変性原理がなぜ単独ではOOD一般化に失敗するのかを動機づけ、分析する。
• 線形SEMの下で、OOD一般化が可能か不可能かを特徴づける条件を整理する。
• 情報ボトルネック制約が不変性を補完し、完全情報的または部分的に情報を持つ不変特徴に対処する方法を示す。
• 不変性と情報ボトルネックを組み合わせた実用的な目的関数（IB-IRM/IB-ERM）を提案し、より良いOOD性能を目指す。
• 線形ユニットテストと実データセットを横断した理論結果と実証的デモンストレーションを提供する。

提案手法

• 線形表現と不変な予測子目的関数（Equation 3）を用いてIRMを定式化する。
• Assumptions 1と2の下で、FIIFとPIIFのシナリオを対比するために線形回帰対線形分類の分析を導入する。
• 特徴サポートの重なり仮定の下で、不可能性と十分条件の結果（Theorems 2と3）を導出する。
• 表現出力のエントロピーを最小化して低エントロピーかつ高情報な予測子を選択するよう、情報ボトルネック（IB）制約を組み込む（Equation 6）。
• 環境間のリスク、不変性正則化、エントロピーベースのボトルネックを組み合わせたIB-IRMとIB-ERMの目的を定義する（Theorem 4）。
• リスク、不変性正則化、エントロピー最小化のバランスを取る実用的な最適化を提案する（Section 6の式）。

実験結果

リサーチクエスチョン

• RQ1 不変性が線形分類器のOOD一般化を保証する条件はどこで、いつ失敗するのか？
• RQ2 不変特徴と偽特徴のサポート重なり仮定が、ERM/IRMのOOD一般化性能にどう影響するか？
• RQ3 線形分類設定において、情報ボトルネック制約は不変性の失敗を補えるか？
• RQ4 IB-IRMとIB-ERMはERM/IRMが失敗する領域で成功するか、完全情報的および部分的情報を持つ不変特徴の両方で？
• RQ5 不変性と情報ボトルネックを統合してOOD一般化を改善する実用的な目的関数は何か？

主な発見

• 不変特徴がラベルを完全に説明する場合、強い重なり条件が満たされない限り、不変予測子だけでは線形分類で失敗する可能性がある。
• 不可能性の結果は、不変特徴サポートの重なりがなければ、線形分類のOOD一般化が保証されないことを示す。
• 特徴サポートの重なりが共同で満たされる十分条件は、ERM/IRMがOOD一般化を達成することを許すが、偽特徴の重なりが満たされない場合には依然として失敗する。
• 不変性と情報ボトルネック制約を組み合わせたIB-IRM/IB-ERMはFIIF設定でOOD一般化を可能にし、PIIFの下ではIRMと組み合わせた場合に頑健性を向上させる。
• FIIFの下でERM/IRMが失敗する場所でIB-IRMが成功し、偽特徴の重なりが保証されなくても効果的であり、PIIFの下ではIB-IRMがERM/IRMを上回ることがある。
• 本論文は理論的な結果（Theorems 2–4）を提供し、これらの原理の両方を活用してOOD一般化の課題に対処する実用的なIB-IRM/IB-ERMフレームワークを提案する。