[論文レビュー] Quantifying and Improving Transferability in Domain Generalization

Guojun Zhang, Han Zhao+2 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 6

ひとこと要約

本論文は、ドメイン一般化における転送可能性の新しい形式的定義を提示し、ドメイン間での過剰リスクの不変性を測定する。実験的に転送可能性を推定する手法を提案するとともに、特徴の転送可能性を向上させる新しい敵対的訓練アルゴリズムを開発し、PACS、Office-Home、WILDS-FMoWなどのベンチマークで最先端の性能を達成した。

ABSTRACT

Out-of-distribution generalization is one of the key challenges when transferring a model from the lab to the real world. Existing efforts mostly focus on building invariant features among source and target domains. Based on invariant features, a high-performing classifier on source domains could hopefully behave equally well on a target domain. In other words, the invariant features are \emph{transferable}. However, in practice, there are no perfectly transferable features, and some algorithms seem to learn "more transferable" features than others. How can we understand and quantify such \emph{transferability}? In this paper, we formally define transferability that one can quantify and compute in domain generalization. We point out the difference and connection with common discrepancy measures between domains, such as total variation and Wasserstein distance. We then prove that our transferability can be estimated with enough samples and give a new upper bound for the target error based on our transferability. Empirically, we evaluate the transferability of the feature embeddings learned by existing algorithms for domain generalization. Surprisingly, we find that many algorithms are not quite learning transferable features, although few could still survive. In light of this, we propose a new algorithm for learning transferable features and test it over various benchmark datasets, including RotatedMNIST, PACS, Office-Home and WILDS-FMoW. Experimental results show that the proposed algorithm achieves consistent improvement over many state-of-the-art algorithms, corroborating our theoretical findings.

研究の動機と目的

• ドメイン一般化における理論的不変性仮定と実験的性能のギャップ、特に分布シフト下での課題を解決すること。
• 特徴や予測子の不変性ではなく、ドメイン間での過剰リスクの不変性として、転送可能性を形式化し定量化すること。
• 敵対的摂動と経験的リスク最小化を用いて、データから転送可能性を実用的に推定する手法を開発すること。
• 転送可能性を明示的に最適化する新しいアルゴリズムを設計し、ドメインシフト下での一般化性能を向上させること。
• 多くの既存手法が、高いソース性能を示すにもかかわらず、転送可能な特徴を学習していないことを実験的に検証すること。

提案手法

• 転送可能性を、予測子リスクとベイズリスクの差（過剰リスク）のドメイン間不変性として定義し、同時的な特徴-ラベル分布シフトを捉える。
• 転送可能性に基づく新たなターゲット誤差の上界を導出し、一般化性能と直接的に関連付ける。
• 小さな半径δ内の敵対的摂動を用いた実験的推定手順を提案し、学習された特徴の転送可能性を評価する。
• 敵対的訓練を用いて転送可能性を最適化する新しい訓練アルゴリズムを導入し、ドメイン間で小さな入力摂動に対して頑健になるように促進する。
• 特徴エンコーダと予測子の2ストリーム訓練設定を採用し、ドメイン識別と敵対的正則化を組み合わせて転送可能性を向上させる。
• 摂動をシミュレートし頑健性を最適化するメタラーニングに類似した内側のループを採用し、δ や内側ステップ数などのハイパーパrameterを性能に合わせて調整する。

実験結果

リサーチクエスチョン

• RQ1 トータルバリエーションやワルシャールト距離のような既存の乖離測度を超えて、ドメイン一般化における転送可能性を形式的に定義・定量化する方法は何か？
• RQ2 既存のドメイン一般化アルゴリズムは、過剰リスクの不変性という観点から測った場合、実際に転送可能な特徴を学習しているのか？
• RQ3 転送可能性推定に基づく新しい訓練目的は、未観測のターゲットドメインにおける一般化性能を向上させ得るか？
• RQ4 多様なベンチマークにおいて、提案手法は最先端のアルゴリズムと比較して、頑健性および精度の面で優れているか？
• RQ5 敵対的半径δ や内側ループステップ数といったハイパーパrameterは、転送可能性およびモデル性能にどのような影響を及えるか？

主な発見

• E successive risk と GroupDRO を含む多くの既存ドメイン一般化手法は、転送可能性が著しく低い。ソース精度は高いが、小さな摂動下ではターゲット精度が著しく低下する。
• PACS、Office-Home、RotatedMNIST、WILDS-FMoWの各ベンチマークで、最先端の手法を一貫して上回る性能を達成し、PACSでは最大97.6%、Office-Homeでは92.33%のテスト精度を達成した。
• Office-Homeでは、CORAL や SD がより高い転送可能性を示す一方、RSC や MMD は摂動下で著しく劣化し、頑健性が低いことが示された。
• δ を用いた敵対的摂動による転送可能性推定は、ソース性能が高くても一般化が悪いモデルを効果的に特定できる。
• 転送可能性から導出されたターゲット誤差の上界は、実際のテスト性能と強く相関しており、理論的整合性が裏付けられた。
• 本手法は、転送可能性を向上させることで一般化性能が向上することを示し、分布シフト下ではVREx や MMD よりも優れた性能を達成した。