[論文レビュー] Domain Generalization: A Survey

Kaiyang Zhou, Ziwei Liu+3 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning被引用数 26

ひとこと要約

このサーベイはドメイン一般化（DG）問題を調査し、DGを定義し、関連分野と対比し、方法論・データセット・応用を分類し、評価と将来の方向性について論じる。

ABSTRACT

Generalization to out-of-distribution (OOD) data is a capability natural to humans yet challenging for machines to reproduce. This is because most learning algorithms strongly rely on the i.i.d.~assumption on source/target data, which is often violated in practice due to domain shift. Domain generalization (DG) aims to achieve OOD generalization by using only source data for model learning. Over the last ten years, research in DG has made great progress, leading to a broad spectrum of methodologies, e.g., those based on domain alignment, meta-learning, data augmentation, or ensemble learning, to name a few; DG has also been studied in various application areas including computer vision, speech recognition, natural language processing, medical imaging, and reinforcement learning. In this paper, for the first time a comprehensive literature review in DG is provided to summarize the developments over the past decade. Specifically, we first cover the background by formally defining DG and relating it to other relevant fields like domain adaptation and transfer learning. Then, we conduct a thorough review into existing methods and theories. Finally, we conclude this survey with insights and discussions on future research directions.

研究の動機と目的

• ドメイン一般化を定義し、それをドメイン適応と転移学習に関連づける。
• マルチソースおよびシングルソースDG設定を調査し、ターゲットデータにアクセスできない状態でなぜDGが重要かを分析する。
• DG手法をパラダイム（ドメイン整合、メタ学習、データ拡張、アンサンブル、自己教師あり学習など）で分類し、それらの要件（ドメインラベルなど）を論じる。
• コンピュータビジョン、音声、NLP、医用画像、RLに跨る一般的に用いられるDGデータセットと応用を要約する。
• 評価実践、モデル選択の落とし穴、将来の研究方向性について論じる。

提案手法

• DG手法を、ドメイン整合、メタ学習、データ拡張、アンサンブル学習、自己教師あり学習、因子分離表現、正則化、強化学習技術などのカテゴリーに整理する。
• 整合させる対象（P(X)、P(X|Y)、P(Y|X)）と整合の方法（モーメント、対比損失、KL発散、MMD、ドメイン対向学習）について論じる。
• 各カテゴリーにおける代表的技術を説明する（例：ドメイン整合のための adversarial 学習、ドメインシフトを露出させるメタ学習、スタイル転換または学習拡張、ドメイン特有の成分）。
• ドメインラベルが必要かどうか（マルチソースDG）かどうかでアプローチを区別する（シングルソースDG）。
• OOD一般化を評価するためのデータセット、評価プロトコル（leave-one-domain-out）、指標（平均と最悪ケースの両方）を総括する。

実験結果

リサーチクエスチョン

• RQ1 複数または単一のソースドメインで学習したモデルが、ターゲットデータへアクセスせずに未知のターゲットドメインへ一般化できる機構は何か？
• RQ2 異なるDGパラダイム（整合、メタ学習、データ拡張、アンサンブル、自己教師あり学習）は、ドメイン間の分布シフトをどのように扱うか、比較すると？
• RQ3 DG手法を評価する最良の実践と、モデル選択バイアスによる過度に楽観的な主張を避ける方法は？
• RQ4 視覚、音声、NLP、医用画像、RLを横断して、どのデータセットと応用領域がドメインシフトとDG能力を最もよく示すか？
• RQ5 DGの概念を転移学習やゼロショット学習などの関連領域と統合して一般化を高めるにはどうすればよいか？

主な発見

• DG研究は、ソースドメインの分布を整合させることや、ドメイン不変表現を学習することがOOD一般化を改善できることを示している。
• メタ学習、データ拡張、アンサンブル戦略は、トレーニング中にドメインシフトを露出させるまたはシミュレートする補完的な手段を提供する。
• leave-one-domain-out検証のような評価実践と、平均と最悪ケースの両方の性能を報告することが、偏った結論を避けるために強調されている。
• DG技術は、物体認識、セマンティックセグメンテーション、人物再識別、音声認識、NLP、医用画像、RLなど多様な応用に適用されている。
• 本調査はDGと関連分野（DA、TL、ZSL、RLなど）との微妙な関係を強調し、将来の方向性と潜在的な研究ギャップを論じている。