[論文レビュー] Generalizing to Unseen Domains: A Survey on Domain Generalization

Jindong Wang, Cuiling Lan+7 more|arXiv (Cornell University)|Mar 2, 2021

Domain Adaptation and Few-Shot Learning被引用数 96

ひとこと要約

ドメイン一般化（DG）の包括的な調査：形式的定義、理論、アルゴリズム分類、データセット、応用、および今後の研究課題を含み、オープンソースのコードベースDeepDGを含む。

ABSTRACT

Machine learning systems generally assume that the training and testing distributions are the same. To this end, a key requirement is to develop models that can generalize to unseen distributions. Domain generalization (DG), i.e., out-of-distribution generalization, has attracted increasing interests in recent years. Domain generalization deals with a challenging setting where one or several different but related domain(s) are given, and the goal is to learn a model that can generalize to an unseen test domain. Great progress has been made in the area of domain generalization for years. This paper presents the first review of recent advances in this area. First, we provide a formal definition of domain generalization and discuss several related fields. We then thoroughly review the theories related to domain generalization and carefully analyze the theory behind generalization. We categorize recent algorithms into three classes: data manipulation, representation learning, and learning strategy, and present several popular algorithms in detail for each category. Third, we introduce the commonly used datasets, applications, and our open-sourced codebase for fair evaluation. Finally, we summarize existing literature and present some potential research topics for the future.

研究の動機と目的

• ドメイン一般化を定義し、関連分野と区別する。
• DGに関連する理論的基盤と一般化境界を調査する。
• データ操作、表現学習、学習戦略別に主要なDGアルゴリズムを分類・分析する。
• 一般的に用いられるデータセットと応用を論じ、オープンソースの評価リソースDeepDGを提供する。
• DGの将来の研究方向と潜在的な課題を概説する。

提案手法

• トレーニング元ドメインを用い、未見のターゲットドメインを含む形でDGを正式に定式化する。
• DG理論を、HΔH-divergence（HΔH-divergence）や共変量シフト分析などの境界を通じてドメイン適応と関連付けて検討する。
• データ操作、表現学習、学習戦略というDG手法の分類法を、サブカテゴリを伴って提供する。
• ドメイン不変表現、特徴のディスエンタングルメント、因果性を取り入れたアプローチについて議論する。
• DGの評価と実験のためのオープンソースコードベースDeepDGを紹介する。

Figure 1: Examples from the dataset PACS [ 2 ] for domain generalization. The training set is composed of images belonging to domains of sketch, cartoon, and art paintings. DG aims to learn a generalized model that performs well on the unseen target domain of photos.

実験結果

リサーチクエスチョン

• RQ1 DGを特徴づける正式な定義と、関連分野（例：ドメイン適応、転移学習）との関係は何か？
• RQ2 DGの一般化を説明する理論的境界は何か、実践ではどのように推定されるか？
• RQ3 DG手法はどのように分類でき、各カテゴリにはどの代表的なアルゴリズムがあるか？
• RQ4 DGに用いられるデータセットと評価プロトコルは何か、フェアな評価をどう促進できるか？
• RQ5 DGにおける有望な将来の方向性と未解決の課題は何か？

主な発見

• DGは、異なる分布を持つ未見のターゲットドメインへ一般化するために、複数のラベル付きソースドメインから学習する形式として定式化される。
• 理論的なDG境界は、HΔH-divergence や共変量シフトなどの概念を活用し、ドメイン不変表現を導く。
• DG手法はデータ操作、表現学習、学習戦略に分類され、それぞれ複数の影響力のある技術を含む。
• ドメイン不変表現と特徴のディスエンタングルメントはDG達成の中心的テーマであり、さまざまなカーネル、敵対的手法、正則化アプローチがある。
• 公正な評価をDGベンチマークとデータセット全体でサポートするオープンソースのDeepDGコードベースが提供されている。

Figure 2: Illustration of domain generalization. Adapted from [ 6 ] .