[論文レビュー] Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments

Yining Chen, Elan Rosenfeld+3 more|arXiv (Cornell University)|Jun 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 4

ひとこと要約

本稿では、分散一般化のための新規アルゴリズムである反復的特徴マッチング（IFM）を提案する。この手法は、すばらしくも滑らかな共分散モデルに基づき、特徴の不正な変動を除去することで、一般化を保証する。訓練用環境の数は、IRM や ERM が必要とする線形な dₛ に対して、O(log dₛ) にまで削減可能である。この方法は反復的に特徴を投影することで、不正な変動を除去し、高い確率で不変予測を達成する。

ABSTRACT

Domain generalization aims at performing well on unseen test environments with data from a limited number of training environments. Despite a proliferation of proposal algorithms for this task, assessing their performance both theoretically and empirically is still very challenging. Distributional matching algorithms such as (Conditional) Domain Adversarial Networks [Ganin et al., 2016, Long et al., 2018] are popular and enjoy empirical success, but they lack formal guarantees. Other approaches such as Invariant Risk Minimization (IRM) require a prohibitively large number of training environments -- linear in the dimension of the spurious feature space $d_s$ -- even on simple data models like the one proposed by [Rosenfeld et al., 2021]. Under a variant of this model, we show that both ERM and IRM cannot generalize with $o(d_s)$ environments. We then present an iterative feature matching algorithm that is guaranteed with high probability to yield a predictor that generalizes after seeing only $O(\log d_s)$ environments. Our results provide the first theoretical justification for a family of distribution-matching algorithms widely used in practice under a concrete nontrivial data model.

研究の動機と目的

• 実践的に広く使われている分布マッチング手法に理論的保証が欠けている問題に対処すること。
• IRM が単純なモデルですら Ω(dₛ) の環境を必要とするという、過酷な環境複雑度を克服すること。
• 敵対的で不正な特徴共分散を伴う非自明で現実的でないデータモデル下で、初めて分布マッチング手法に対する理論的保証を提供すること。
• 反復的特徴射影が、非線形で対数的環境複雑度を達成することで、不正な特徴を効果的に除去し、不変予測を達成できることを示すこと。

提案手法

• 不正な特徴共分散が存在する複数の環境で生成される部分空間の直交補空間に特徴を射影する反復的特徴マッチング（IFM）アルゴリズムを提案する。
• 環境間のペアワイズ共分散差分を用いて、不正な特徴の部分空間を推定し、射影によってその除去を実現する。
• 共分散差分行列に対して特異値分解（SVD）を適用し、不正な部分空間への射影行列を抽出する。
• 入力特徴を直交射影行列を用いて射影することで、不正な成分を除去しつつ信号特徴を保持する。
• 複数のネットワーク層で特徴分布をマッチングする多層反復プロセスを採用し、耐性を向上させる。
• 理想的な仮定下で、共分散差分とSVDに基づく単純なアルゴリズム（アルゴリズム2）を用い、2つの環境でのみ不変予測子を回復可能である。

実験結果

リサーチクエスチョン

• RQ1 分布マッチング手法が、非線形環境複雑度で保証可能なドメイン一般化を達成できるか？
• RQ2 なぜ、ERM や IRM のような従来手法は、環境数が o(dₛ) の場合に一般化に失敗するのか？
• RQ3 反復的特徴射影は、単一層のマッチングに比べ、複数の環境で不正な特徴を効果的に除去できるか？
• RQ4 IRM や ERM が無限のサンプルを用いても失敗するが、特徴マッチング手法が O(log dₛ) の環境数で成功するようなデータモデルは存在するか？
• RQ5 現実的な特徴共分散構造下で、不変予測子を保証的に回復するために必要な最小の環境数はいくつか？

主な発見

• 敵対的バイアスを伴う滑らかな共分散モデル下では、ERM や IRM は環境数が o(dₛ) の場合、無限のデータを用いても一般化に失敗する。
• 提案手法である IFM は、高確率で O(log dₛ) の環境数でのみ一般化を達成でき、分布マッチング手法として初めて非線形環境複雑度の保証を達成した。
• 実験結果では、IFM はガウス分布およびノイズ付きMNISTデータセットにおいて、ERM や IRM、CORAL を上回り、ベースライン比で最大10%のテスト精度向上を達成した。
• 最終層だけでなく、複数の層（例えば、すべての層または非重複層）で特徴をマッチングすることで、最終層でのみマッチングする場合よりも優れた性能が得られ、CORAL（すべての層でマッチング）は4層MLPで77.9%の精度を達成した。
• 共分散差分とSVDに基づく2環境用の単純なアルゴリズム（アルゴリズム2）は、仮定3.2の下で不変予測子を正確に回復でき、ŵ = w* を証明した。
• 実験では、IFM が限られたデータでも良好に一般化でき、1つのGPUで全実験が10分以内に完了した。