[論文レビュー] Out-of-Distribution Generalization with Maximal Invariant Predictor

Masanori Koyama, Shoichiro Yamaguchi|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 42

ひとこと要約

本論文は、目的変数と最大の相互情報量を持つ不変特徴を特定することで、分布外（OOD）一般化のためのインタラクティブ勾配アライメント（IGA）アルゴリズムを提案する。これにより、特徴学習と予測子学習を統合的に最適化でき、理論的に最大不変予測子条件を確立し、標準的および拡張版のカラーモナドMNISTベンチマークで最先端の性能を達成する。

ABSTRACT

Out-of-Distribution (OOD) generalization is a problem of seeking the predictor function whose performance in the worst environment is optimal. This paper makes both theoretical and algorithmic contributions to the OOD problem. We consider a set of all invariant features conditioned to which the target variable and the environment variable becomes independent, and theoretically prove that one can seek an OOD optimal predictor by looking for the mutual-information maximizing feature amongst the invariant features. We establish this result as extit{Maximal Invariant Predictor condition}. Our theoretical work is closely related to approaches like Invariant Risk Minimization and Invariant Rationalization. We also derive from our theory the extit{Inter Gradient Alignment}(IGA) algorithm that uses a parametrization trick to conduct extit{feature searching} and extit{predictor training} at once. We develop an extension of the Colored-MNIST that can more accurately represent the pathological OOD situation than the original version, and demonstrate the superiority of IGA over previous methods on both the original and the extended version of Colored-MNIST.

研究の動機と目的

• 多様な環境で良好に動作する予測子を特定することで、分布外（OOD）一般化の課題に取り組む。
• 最悪の環境においても予測性能を最大化する不変特徴が成立する理論的条件を理論的に確立する。
• 不変特徴と予測子の両方を同時に探索する統合的アルゴリズムを開発し、OODのロバストネスを向上させる。
• より現実的で病理的（病的な）なOOD分布シフトを反映させるために、カラーモナドMNISTを拡張した、より深刻なOODシナリオを模擬するベンチマークを構築する。

提案手法

• 本論文は、不変性が保証された条件下で、目的変数と最大の相互情報量を持つ特徴から最適なOOD予測子が導かれるという「最大不変予測子条件」を導入し、理論的に証明する。
• 本論文は、勾配アライメントを用いて特徴表現と予測子を同時に最適化する「インタラクティブ勾配アライメント（IGA）」アルゴリズムを提案する。
• IGAは、特徴探索と予測子学習を同時に実行するエンドツーエンドのトレーニングを可能にし、別々の最適化段階を回避する。
• この手法は、不変リスク最小化と不変合理的化に裏付けられ、それらの理論的・アルゴリズム的枠組みを拡張する。
• より複雑な誤った相関関係を模擬するため、より挑戦的なOODシナリオを再現できるように、拡張されたカラーモナドMNISTデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 どの理論的条件が、あらゆる環境において最悪の性能を達成する予測子を保証するか？
• RQ2 目的変数と最大の相互情報量を持つように、不変特徴をどのように特定できるか？
• RQ3 1つのアルゴリズムが、特徴学習と予測子学習を同時に最適化することで、OOD一般化の性能を向上させられるか？
• RQ4 提案手法は、より現実的で病理的なOOD分布シフトの下で、どのように性能を発揮するか？

主な発見

• 最大不変予測子条件は理論的に証明され、不変特徴間の相互情報量最大化がOOD最適予測子をもたらすことが示された。
• インタラクティブ勾配アライメント（IGA）アルゴリズムは、オリジナル版および拡張版のカラーモナドMNISTの両方で、先行手法を上回るOOD一般化性能を達成した。
• 拡張されたカラーモナドMNISTベンチマークは、オリジナル版に比べて、より複雑で病理的なOODシフトを的確に捉えている。
• IGAは、特徴と予測子の最適化を統合的に実行することで、効果的に不変表現を学習し、最先端の性能を発揮した。