[論文レビュー] Can Subnetwork Structure be the Key to Out-of-Distribution Generalization?

Dinghuai Zhang, Kartik Ahuja+3 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 86被引用数 16

ひとこと要約

本稿では、分布外（OOD）一般化において、部分ネットワーク構造が極めて重要であると提唱し、機能的ロトゥリー・チケット仮説を導入する。この仮説は、完全なモデル内に、全ネットワークよりも優れたOOD性能を達成できる部分ネットワークが存在するとするものである。著者らは、このような頑健な部分ネットワークを同定する構造学習手法であるモジュールリスクミニマイゼーション（MRM）を提案し、OOD精度を向上させるとともに、既存のOOD正則化手法と互換性を持つ。

ABSTRACT

Can models with particular structure avoid being biased towards spurious correlation in out-of-distribution (OOD) generalization? Peters et al. (2016) provides a positive answer for linear cases. In this paper, we use a functional modular probing method to analyze deep model structures under OOD setting. We demonstrate that even in biased models (which focus on spurious correlation) there still exist unbiased functional subnetworks. Furthermore, we articulate and demonstrate the functional lottery ticket hypothesis: full network contains a subnetwork that can achieve better OOD performance. We then propose Modular Risk Minimization to solve the subnetwork selection problem. Our algorithm learns the subnetwork structure from a given dataset, and can be combined with any other OOD regularization methods. Experiments on various OOD generalization tasks corroborate the effectiveness of our method.

研究の動機と目的

• モデル構造、特に部分ネットワークが、誤った相関関係を軽減し、OOD一般化を向上させられるかどうかを調査すること。
• バイアスがかかる完全なモデル内に、不変で誤った相関関係のない特徴を捉える部分ネットワークが存在するかどうかを特定すること。
• トレーニング時にOODデータにアクセスしないで、OOD性能を向上させる部分ネットワーク選択の実用的手法を開発すること。
• 学習された部分ネットワークによる構造的インダクティブバイアスが、OOD設定において、全ネットワークの容量を上回ることを示すこと。
• 提案手法を既存のOOD正則化手法と組み合わせ、一貫した性能向上を示すこと。

提案手法

• 機能的ロトゥリー・チケット仮説を提唱する：完全なモデル内に、孤立して訓練された場合に全ネットワークよりも優れたOOD性能を達成できる部分ネットワークが存在する。
• モジュールリスクミニマイゼーション（MRM）を導入する。これは、モジュール的構成要素上のリスク目的関数を最適化することで、部分ネットワーク構造を学習する手法である。
• MRMは微分可能なスパarsityマスクを用い、不変でない誤った特徴を特定・プルーニングし、ショートカット相関依存部分を効果的にゼロ化する。
• 任意のOOD正則化目的関数（例：IRM）と互換性があるため、既存のアプローチと組み合わせて利用可能である。
• 構造的スパarsity正則化を用いたエンドツーエンド学習により、不変部分ネットワークの学習を促進する。
• 部分ネットワークの評価は、インディストリビューションおよび分布外精度を用い、全モデルおよびオラクル部分ネットワークと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ERMで訓練されたモデル内に、誤った相関関係に偏るが、それでも不変特徴を捉える機能的サブネットワークが存在するか？
• RQ2 全モデルがバイアスを持っている場合でも、分布シフト下で全モデルよりも一般化性能が優れる部分ネットワークが存在するか？
• RQ3 MRMのような構造学習手法は、トレーニング時にOODデータにアクセスしなくても、このような頑健な部分ネットワークを同定できるか？
• RQ4 部分ネットワークの構造的インダクティブバイアスは、全モデルのインダクティブバイアスと比較して、OOD一般化においてどのように異なるか？
• RQ5 IRMなどの他のOOD正則化手法と組み合わせた場合、MRMはどの程度性能を向上させられるか？

主な発見

• スパurious相関を利用するERMで訓練されたモデルですら、不変でバイアスの少ない機能的サブネットワークを内蔵している。
• 機能的ロトゥリー・チケット仮説は実験的に検証された：MRMで選択された部分ネットワークは、FullColoredMNIST上で全ネットワークよりも高いOOD精度を達成した。
• MRMは複数のOODベンチマークタスクにおいて、全モデルおよび標準ベースラインを上回るOOD一般化性能を顕著に向上させた。
• IRMと組み合わせた場合、MRMはさらなる性能向上を示し、既存のOOD正則化手法と相性が良く、相乗効果を発揮することが示された。
• MRMの有効性は、異なるアーキテクチャおよびデータセットに対して一貫しており、性能向上は容量の増加ではなく、構造的インダクティブバイアスに起因している。
• 部分ネットワーク構造における適切なスパarsityレベルが不可欠である。過剰なプルーニングや不十分なプルーニングの両方がOOD性能を低下させ、構造的学習の必要性を示唆している。