[論文レビュー] Out of Distribution Generalization in Machine Learning

Martín Arjovsky|arXiv (Cornell University)|Mar 3, 2021

Machine Learning and Algorithms参考文献 68被引用数 50

ひとこと要約

A comprehensive survey and framework for understanding out-of-distribution generalization in ML, focusing on robustness, invariance, and causal perspectives, with IRM and domain-specific discussions.

ABSTRACT

Machine learning has achieved tremendous success in a variety of domains in recent years. However, a lot of these success stories have been in places where the training and the testing distributions are extremely similar to each other. In everyday situations when models are tested in slightly different data than they were trained on, ML algorithms can fail spectacularly. This research attempts to formally define this problem, what sets of assumptions are reasonable to make in our data and what kind of guarantees we hope to obtain from them. Then, we focus on a certain class of out of distribution problems, their assumptions, and introduce simple algorithms that follow from these assumptions that are able to provide more reliable generalization. A central topic in the thesis is the strong link between discovering the causal structure of the data, finding features that are reliable (when using them to predict) regardless of their context, and out of distribution generalization.

研究の動機と目的

• 問題と応用全体においてout-of-distribution generalization (OOD) が何を意味するのかを明確にする。
• 複数の環境下でOOD性能を定量化・比較するフレームワークを提示する。
• 既存の手法（頑健最適化、ドメイン適応、不変性）を調査し、それらの根本的な仮定を分析する。
• 因果特徴量と不変特徴量が一般化を達成する役割を強調し、現在のアプローチの限界を特定する。

提案手法

• OODリスクを環境群全体の最悪ケースリスクとする枠組みを導入する： ROOD(f)=max_e R^e(f).
• 訓練環境を論じ、E_train が広い環境集合 E_all と関連している必要性について議論する。
• 偽の相関を例示し、それがOOD性能にどのように影響するかを説明する。
• 経験的リスク最小化（ERM）、頑健最適化、Wasserstein/KL頑健性との関係を検討する。
• Invariant Risk Minimization (IRM) とその非線形変種を、環境を跨いで不変性を課すアプローチとして開発・言及する。
• ロボティクス、ビジョン、NLP、フェアネスに跨るドメイン特有のケーススタディと実務的影響を概説する。

実験結果

リサーチクエスチョン

• RQ1 異なる問題間でout-of-distribution generalizationをどのように定量化・比較できるか。
• RQ2 さまざまなOOD手法（頑健最適化、ドメイン適応、不変性）はどの仮定の下で成功・失敗するのか。
• RQ3 環境を跨いだ堅牢な一般化を達成する上で、不変特徴量や因果特徴量の役割は何か。
• RQ4 訓練環境と未知のテスト環境をどのように関連づけて、より良いOOD性能を達成できるか。
• RQ5 実世界の応用におけるOOD一般化の限界と今後の方向性は何か。

主な発見

• 単一の一般的なOOD手法は存在しない；性能は環境に関する問題固有の仮定に依存する。
• 環境全体の最悪ケースリスクに基づくフレームワークは、OOD性能を評価するための原理的な方法を提供する。
• 不変性ベースの手法（例：IRM）は、環境を通じて安定な予測子を特定し、こうした不変性が存在する場合の一般化を支援する。
• 実証的議論には、偽相関と頑健性の課題を示す合成データやカラーMNISTの実験が含まれる。
• ドメイン特有の視点は、ロボティクス、コンピュータビジョン、NLP、フェアネス設定でOOD一般化の考慮がどのように異なるかを示す。
• 仮定の現実味と実用的な利得とのトレードオフをOOD一般化の中で強調する。