[論文レビュー] Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization

Elan Rosenfeld, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Feb 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、深層学習における分布外（OOD）一般化の失敗要因が、特徴の学習不足にあるのではなく、既存の特徴に対する頑健な線形回帰の欠如にあると主張する。代わりに、凸的でドメインに特化した調整手法であるドメイン調整回帰（DARE）を提案する。DAREは共分散ホワイトニングを用いてドメインを標準化された潜在空間に統一し、ミニマックス最適な線形予測子を学習する。この手法は、最小限の微調整でOODベンチマークで最先端の性能を達成する。

ABSTRACT

A common explanation for the failure of deep networks to generalize out-of-distribution is that they fail to recover the "correct" features. We challenge this notion with a simple experiment which suggests that ERM already learns sufficient features and that the current bottleneck is not feature learning, but robust regression. Our findings also imply that given a small amount of data from the target distribution, retraining only the last linear layer will give excellent performance. We therefore argue that devising simpler methods for learning predictors on existing features is a promising direction for future research. Towards this end, we introduce Domain-Adjusted Regression (DARE), a convex objective for learning a linear predictor that is provably robust under a new model of distribution shift. Rather than learning one function, DARE performs a domain-specific adjustment to unify the domains in a canonical latent space and learns to predict in this space. Under a natural model, we prove that the DARE solution is the minimax-optimal predictor for a constrained set of test distributions. Further, we provide the first finite-environment convergence guarantee to the minimax risk, improving over existing analyses which only yield minimax predictors after an environment threshold. Evaluated on finetuned features, we find that DARE compares favorably to prior methods, consistently achieving equal or better performance.

研究の動機と目的

• OOD一般化における主なボトル neck が特徴学習にあるのか、それとも既存の特徴に対する頑健な線形予測にあるのかを調査すること。
• エラー最小化学習（ERM）が誤った相関関係を学習するために失敗するとされる一般的な見解に反論し、ターゲットドメインのデータに対して最終層の線形層のみを微調整した場合に優れた性能が得られるかどうかを検証すること。
• OOD一般化のための複雑な不変表現学習手法の代替として、より単純で凸的な代替手法を開発すること。
• 新しい分布シフトのモデル下で、提案手法のミニマックスリスクに関する理論的保証を提供すること。
• ERMの特徴が頑健な線形回帰と組み合わせられれば、強力なOOD性能が達成可能であることを実証的に検証すること。

提案手法

• DAREは、共分散ホワイトニングを用いてドメイン固有の調整を施し、ドメインを標準化された潜在空間に統一することで線形予測子を学習する。
• テスト時の共分散調整を、トレーニング時のドメイン固有調整の平均値を用いて推定することで、トレーニング時にテストデータを必要とせずに頑健な一般化を実現する。
• 不変性を強制するためのペナルティ項を含む凸最適化目的関数を用いることで、より頑健な性能を向上させる。
• ドメイン固有の共分散シフトを補正することで、ドメイン間の最適分類器を整列させ、ドメイン固有の最適意思決定境界間のコサイン類似度を向上させる。
• 不変リスク最小化とは異なり、ドメイン固有の部分空間を破棄しないことで、予測に必要な情報をより多く保持する。
• 環境数が有限の条件下でミニマックスリスクへの収束保証を提供し、従来の分析が環境の閾値を越えた後でのみミニマックス予測子を導くのを改善する。

実験結果

リサーチクエスチョン

• RQ1 特徴が固定された状態で、ターゲットドメインのデータに対して最終層の線形層のみを微調整することで、OOD一般化性能が著しく向上するか？
• RQ2 分布シフト下で、複雑なエンドツーエンドの不変表現学習手法よりも単純で凸な線形予測子が優れた性能を発揮できるか？
• RQ3 ERMのOOD一般化における失敗は、特徴学習の不足に起因するのか、それともその特徴に対する線形予測の最適でない性質に起因するのか？
• RQ4 共分散ホワイトニングによるドメイン固有の調整は、ドメイン間での最適分類器の整列を向上させるか？
• RQ5 新しい分布シフトのモデル下で、ミニマックス最適予測子に対する有限環境収束保証を確立できるか？

主な発見

• 最終層の線形層のみをターゲットドメインデータで微調整する「チート」行動が、ネットワーク全体をエンドツーエンドで訓練するチート行動と同等またはそれ以上の性能を達成する。これは、ERM特徴がすでに非常に効果的であることを示している。
• 線形分類器を微調整済みERM特徴に適用した場合、標準的なERMと最高の既存手法との性能差が10–15%縮小される。これは、特徴学習が主なボトル neck ではないことを示唆している。
• DAREは、評価されたすべてのベンチマーク（Office-Home、PACS、VLCS）で最先端の性能を達成し、一貫して既存手法を上回る。
• テスト時の共分散調整推定誤差は、ほとんどのスプリットで一貫して低く（例：95%のスプリットで0.05未満）、平均推定戦略の頑健性が裏付けられている。
• ドメイン調整後、ドメイン間の個別に最適な分類器間のコサイン類似度は顕著に向上する（例：VLCSでは0.200から0.598に上昇）。これは意思決定境界の有効な整列を確認するものである。
• DAREにおけるペナルティ項は不可欠である：これを除去すると性能が低下し、ペナルティ値の広い範囲にわたり安定した最適化が維持される。これは、最適化の安定性を示している。