[論文レビュー] Understanding the Failure Modes of Out-of-Distribution Generalization

Vaishnavh Nagarajan, Anders Andreassen+1 more|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 50

ひとこと要約

この論文は、OoD一般化におけるERMの2つの根本的な失敗モードを、偽の相関によって生じる幾何学的歪みと統計的歪みとして特定し、容易に学べるタスクでERMが偽特徴に依存することを理論的・経験的に分析する。 また、MNIST/CIFAR10タスクでこれらのモードを検証し、ニューラルネットワークへの影響を探る。

ABSTRACT

Empirical studies suggest that machine learning models often rely on features, such as the background, that may be spuriously correlated with the label only during training time, resulting in poor accuracy during test-time. In this work, we identify the fundamental factors that give rise to this behavior, by explaining why models fail this way {\em even} in easy-to-learn tasks where one would expect these models to succeed. In particular, through a theoretical study of gradient-descent-trained linear classifiers on some easy-to-learn tasks, we uncover two complementary failure modes. These modes arise from how spurious correlations induce two kinds of skews in the data: one geometric in nature, and another, statistical in nature. Finally, we construct natural modifications of image classification datasets to understand when these failure modes can arise in practice. We also design experiments to isolate the two failure modes when training modern neural networks on these datasets.

研究の動機と目的

• ドメイン一般化設定とERMベースラインを定義する。
• 容易に学べるタスクにおいても偽相関のためにERMが失敗する時を特定する。
• 理論的に2つの失敗モード—幾何学的歪みと統計的歪み—を分離する。
• MNIST/CIFAR10およびニューラルネットで失敗モードを経験的に検証する。
• 失敗機構を分離するためのデータセットの変更と実験を提供する。

提案手法

• 完全な予測不変特徴を持つ易しい学習タスクでERMと最大マージン訓練をモデル化する。
• 易しく学べるドメイン一般化タスクを定義する制約を導入する（完全に予測可能な不変特徴、同一の不変分布、条件付き独立、2値の偽特徴、アイデンティティ Phi）。
• 幾何学的歪みに基づく最大マージン解に偽特徴が影響を与えることを示す境界を理論的に導出する（定理ラフスケッチ）。
• ロジスティック/指数損失に対する有限時間の勾配降下ダイナミクスを分析して統計的歪みを明らかにする（収束境界）。
• MNIST/CIFAR10風のタスクで幾何学的歪みを増大ノルム挙動と偽特徴依存で経験的に示す。
• 実験再現のためのコードを説明・参照する。

実験結果

リサーチクエスチョン

• RQ1 OoDで完全な予測不変特徴を持つにもかかわらず、なぜERMは一般化に失敗するのか？
• RQ2 偽特徴へ依存を生み出す幾何学的および統計的な根本要因は何か？
• RQ3 易しく学べるタスクはERMの失敗を示すことができるのか、どのような制約下で？
• RQ4 これらの失敗モードは線形モデルを超えたニューラルネットでどのように現れるのか？
• RQ5 標準データセット上で提案された失敗モードを裏付ける経験的証拠は何か？

主な発見

• ERMは不変特徴がラベルを完全に決定する場合でも、偽特徴へ依存することがある（易しく学べるタスクでの現象）。
• 補完的な2つの失敗モードを同定する：データの幾何から生じてデータ数が増えると最大マージンのノードが大きくなる幾何学的歪み、有限時間の勾配降下ダイナミクスに関連する統計的歪み。
• 偽相関が強まると、幾何学的歪みは最大マージン分類器を偽特徴をショートカットとして使う方向へ押し、テスト時のシフトに対する脆弱性を高める。
• 有限時間の勾配降下は偽特徴収束を示し、偽相関が高いほど収束が遅くなる統計的歪みを訴える。
• MNIST-およびCIFAR10ベースのタスクやFNNs、ResNetsのようなネットワークで、これらの歪みがアーキテクチャを超えて存在することを支持する実証結果を提供。
• 偽相関が適用されないシナリオを議論し、OoD失敗のより広い幾何学的解釈を提供する。