[論文レビュー] Learning to Learn Single Domain Generalization

Fengchun Qiao, L. Zhao+1 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 8

ひとこと要約

本稿では、学習に利用可能なソースドメインが1つである単一ドメイン一般化のためのメタラーニングベースの adversarial domain augmentation 法 M-ADA を提案する。敵対的訓練により分布外（OOD）の「架空の」ドメインを生成し、Wasserstein Auto-Encoder を用いて最も悪い状況の制約を緩和することで、複数の未知ドメインへの頑健な一般化を可能にし、CIFAR-10-C や SYNTHIA といったベンチマークで最先端の性能を達成した。従来手法に比べ、一般化性能と効率性の両面で優れた結果を示した。

ABSTRACT

We are concerned with a worst-case scenario in model generalization, in the sense that a model aims to perform well on many unseen domains while there is only one single domain available for training. We propose a new method named adversarial domain augmentation to solve this Out-of-Distribution (OOD) generalization problem. The key idea is to leverage adversarial training to create "fictitious" yet "challenging" populations, from which a model can learn to generalize with theoretical guarantees. To facilitate fast and desirable domain augmentation, we cast the model training in a meta-learning scheme and use a Wasserstein Auto-Encoder (WAE) to relax the widely used worst-case constraint. Detailed theoretical analysis is provided to testify our formulation, while extensive experiments on multiple benchmark datasets indicate its superior performance in tackling single domain generalization.

研究の動機と目的

• 学習に利用可能なソースドメインが1つである状況で、複数の未知ドメインに一般化する課題に対処すること。
• 複数のソースドメインやターゲットドメインデータを必要とする従来のドメイン一般化・適応手法の限界を克服すること。
• 実際のターゲットデータに依存せずに、多様で分布外の「架空の」ドメインを生成することで、モデルの頑健性と一般化性能を向上させること。
• アンサンブルモデルを避け、計算コストを低減するメタラーニングフレームワークを用いて、効率的かつスケーラブルな学習を可能にすること。
• 特に Wasserstein Auto-Encoder を用いた最悪ケース制約の緩和に関する、提案手法の定式化に対する理論的裏付けを提供すること。

提案手法

• ソースドメインとは分布が異なるが挑戦的である合成ドメインを生成する adversarial domain augmentation (ADA) を提案し、分布シフトを模擬する。
• ドメイン一般化における厳格な最悪ケース制約を、Wasserstein Auto-Encoder (WAE) を用いて緩和し、入力空間における大きなドメインシフトを促進しながらも、意味的整合性を保つ。
• 学習をメタラーニング問題として定式化し、二段階最適化プロセスを通じて、複数の架空ドメインに素早く適応できるようにモデルを学習する。
• メタラーナーがモデルパラメータを最適化することで、敵対的に生成されたドメインの広い分布にわたる一般化性能を高める。
• 敵対的訓練をメタラーニングフレームワーク内に統合し、ドメインシフトを最大限に引きながらも意味的に妥当な摂動を生成する。
• ソースドメインデータと敵対的に生成されたドメインの両方を用いてエンドツーエンドで学習し、すべての架空ドメインにおける最悪ケースリスクを最小化することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 1つのソースドメインで学習したモデルは、複数の未知の分布外ターゲットドメインに効果的に一般化できるか？
• RQ2 実際のターゲットデータが存在しない状況で、敵対的訓練をどのように活用し、現実的ではあるが挑戦的な「架空の」ドメインを生成できるか？
• RQ3 WAEに基づく正則化を用いて最悪ケース制約を緩和することで、ドメイン一般化にどのような影響を与えるか？
• RQ4 メタラーニングは、アンサンブルや反復的微調整手法と比較して、単一ドメイン一般化の効率性と一般化性能を向上させられるか？
• RQ5 提案手法は、従来の最先端手法に比べ、単一ドメイン一般化および少数ショットドメイン適応設定でどの程度優れているか？

主な発見

• CIFAR-10-C ベンチマークでは M-ADA が最先端の性能を達成し、平均汚染誤差（mCE）が 65.59、相対的 mCE（RmCE）が 0.82 となり、GUD や ERM といった先行手法を上回った。
• SYNTHIA セマンティックセグメンテーションベンチマークでは、1つのソースドメインから複数の未知環境に一般化する状況で、平均 mIoU が 55.98% を達成し、FADA や CCSA といった既存手法を上回った。
• MNIST, USPS, SVHN における少数ショットドメイン適応では、M-ADA が競争力ある精度（例：MNIST→SVHN で 7 ショットで 79.52%）を達成し、非教師ありベースラインを上回り、優れた転送性を示した。
• モデルの頑健性が向上しており、SYNTHIA の Highway/Dawn モードでは M-ADA が平均 22.33% の精度を達成したのに対し、ERM は 18.70%、GUD は 19.66% であった。
• アブレーションスタディの結果、WAEに基づく最悪ケース制約の緩和が一般化性能を向上させるとともに、学習の不安定性を低減することが確認された。一方、メタラーニングにより、反復回数を減らしても迅速な適応が可能となった。
• CIFAR-10-C の多様な汚染状況においても、M-ADA は効果的な一般化を示しており、汚染レベル5において「Fog」で 69.36%、「Snow」で 80.62% の精度を達成し、強い頑健性を示した。