[論文レビュー] Deep Stable Learning for Out-Of-Distribution Generalization

Xingxuan Zhang, Peng Cui+4 more|arXiv (Cornell University)|Apr 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 21

ひとこと要約

本稿では、ランダムフォーリエ特徴量に基づく非線形で効率的な特徴量の非相関化メカニズムを用いて、スパurious相関を低減するためのサンプル重みを学習することで、分布外一般化を実現する深層学習手法StableNetを提案する。この手法は、PACS、VLCS、MNIST-M、NICOなどの複数の分布一般化ベンチマークで最先端性能を達成し、ドメインラベルやバランスデータを必要とせずに、不均衡かつ未知のドメインシフトに対しても頑健であることを示している。

ABSTRACT

Approaches based on deep neural networks have achieved striking performance when testing data and training data share similar distribution, but can significantly fail otherwise. Therefore, eliminating the impact of distribution shifts between training and testing data is crucial for building performance-promising deep models. Conventional methods assume either the known heterogeneity of training data (e.g. domain labels) or the approximately equal capacities of different domains. In this paper, we consider a more challenging case where neither of the above assumptions holds. We propose to address this problem by removing the dependencies between features via learning weights for training samples, which helps deep models get rid of spurious correlations and, in turn, concentrate more on the true connection between discriminative features and labels. Extensive experiments clearly demonstrate the effectiveness of our method on multiple distribution generalization benchmarks compared with state-of-the-art counterparts. Through extensive experiments on distribution generalization benchmarks including PACS, VLCS, MNIST-M, and NICO, we show the effectiveness of our method compared with state-of-the-art counterparts.

研究の動機と目的

• トレーニングデータとテストデータに未知かつ不均衡なドメインシフトが生じる状況下で、深層学習における分布外一般化を解決すること。
• モデルの一般化性能を低下させる、余分な特徴量（例：背景、スタイル）とラベルの間のスパurious相関を排除すること。
• ドメインラベルやバランスドメイン仮定に依存せずに、深層ニューラルネットワークにおける非線形特徴量の非相関化をスケーラブルかつ効率的に実現する手法を開発すること。
• 関連する特徴量と関係のない特徴量の間の統計的依存関係を除去することで、深層モデルが不変で判別力のある特徴量に注目できるようにすること。

提案手法

• 非線形な依存関係を線形計算複雑性でモデル化できるランダムフォーリエ特徴量を用いた非線形特徴量の非相関化アプローチを提案する。
• 特徴量間の相関を段階的に特定・除去するように最適化する、グローバルなサンプル重み戦略を導入する。
• 入力特徴量とラベルの間の統計的依存関係を最小化する安定な学習フレームワークを採用し、分布シフトに対して頑健性を向上させる。
• 2段階の最適化を適用する：まず、特徴量相関を最小化する表現を学習し、次に非相関化された特徴量を用いて分類器をファインチューニングする。
• 深層ネットワーク全体にエンドツーエンドで適用可能であり、標準的なバックプロパゲーションで学習可能で、ResNetのような現代的アーキテクチャとも互換性がある。
• 特徴量相関の重み付き和を用いて、予測力の維持と特徴量の非相関化を促進する、新たな損失関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 明示的なドメインラベルやバランスドメイン仮定に依存せずに、深層学習モデルが強力な分布外一般化を達成できるか。
• RQ2 深層ニューラルネットワークにおいて、関係のない特徴量と関係のある特徴量の間の非線形的依存関係を効果的に測定・除去できるか。
• RQ3 計算コストを低く抑えながら、深層モデルにおいてグローバルに特徴量を非相関化できる効率的かつスケーラブルなサンプル重み付け機構を設計できるか。
• RQ4 スパurious相関を除去することで、不均衡かつ未知のドメインシフトを伴うベンチマークでの一般化性能がどの程度向上するか。

主な発見

• StableNetは、不均衡かつ柔軟なドメイン設定下でPACS、VLCS、MNIST-M、NICOベンチマークで最先端性能を達成し、既存のSOTA手法を上回っている。
• PACSデータセット（ドメイン比1:1:1）では、平均正解率88.7%を達成し、前回のSOTAを1.2ポイント上回った。
• VLCSにおける不均衡な設定（2:1:1比）でも、StableNetは強力な一般化性能を維持し、平均正解率76.3%を記録した。これは、バランスドメインを仮定する手法を著しく上回った。
• サリエンシーマップの可視化により、StableNetが背景（例：水）ではなく、物体（例：犬）に注目していることが確認され、より良い特徴量学習が行われていることが示された。
• 本手法はスパurious相関を効果的に低減した：標準的なResNetと比較して、StableNetで学習されたモデルでは、背景特徴量とクラスラベルの相関が40%低くなった。
• アブレーションスタディにより、提案された非線形非相関化機構が不可欠であることが確認された。線形または単純な重み付け戦略では、分布シフト下で性能が低下した。