[論文レビュー] Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey

Sicheng Zhao, Bo Li+3 more|arXiv (Cornell University)|Feb 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 73

ひとこと要約

この論文は深層学習におけるマルチソースドメイン適応（MDA）の包括的な調査を提供し、MDAを定義し、データセットを検討し、潜在空間変換と中間ドメイン生成法を比較し、今後の方向性を概説する。

ABSTRACT

In many practical applications, it is often difficult and expensive to obtain enough large-scale labeled data to train deep neural networks to their full capability. Therefore, transferring the learned knowledge from a separate, labeled source domain to an unlabeled or sparsely labeled target domain becomes an appealing alternative. However, direct transfer often results in significant performance decay due to domain shift. Domain adaptation (DA) addresses this problem by minimizing the impact of domain shift between the source and target domains. Multi-source domain adaptation (MDA) is a powerful extension in which the labeled data may be collected from multiple sources with different distributions. Due to the success of DA methods and the prevalence of multi-source data, MDA has attracted increasing attention in both academia and industry. In this survey, we define various MDA strategies and summarize available datasets for evaluation. We also compare modern MDA methods in the deep learning era, including latent space transformation and intermediate domain generation. Finally, we discuss future research directions for MDA.

研究の動機と目的

• マルチソースドメイン適応（MDA）設定と戦略を定義し、分類する。
• MDAの評価に使用される公開データセットを要約する。
• 潜在空間変換と中間ドメイン生成に焦点を当てた深層MDAアプローチを比較する。
• 理論的洞察を議論し、有望な今後の研究方向を提案する。

提案手法

• 整合戦略によってMDAを分類する：潜在空間変換と中間ドメイン生成。
• 潜在空間整合のための不一致ベースおよび敵対的手法を検討する。
• ソース間での共有/非共有特徴抽出器と分類器の整合性について論じる。
• ソースとターゲットドメインを橋渡しする中間ドメイン生成アプローチ（例：GANベース）を説明する。
• 複数のソースを組み合わせる際の重み付けとソース選択戦略を強調する。

実験結果

リサーチクエスチョン

• RQ1 どの問題定義と戦略分類法が、深層学習におけるマルチソースドメイン適応を最も適切に捉えるか？
• RQ2 潜在空間変換と中間ドメイン生成を比較した場合、標準データセットで既存のMDA手法はどのように性能を示しているか？
• RQ3 どのような理論的・実践的洞察が、どのMDA戦略をいつ使用すべきかを導くか？
• RQ4 実世界のマルチソース環境でMDAを改善するために、最も有望な今後の方向性は何か？

主な発見

• 複数のソースを直接1つにまとめて単一ソースDAを適用する方法は、最良の単一ソースアプローチにはしばしば及ばない。
• MDA手法は、潜在空間変換と中間ドメイン生成の枠組みによく分類される。
• 潜在空間整合には不一致ベースおよび敵対的アプローチが一般的で、ワッサースタイン系の戦略が安定性の利点を提供する。
• 最も関連性の高いソースとサンプルの重み付けと選択は、ターゲット適応性能を向上させる。
• いくつかの手法は共有・非共有の特徴抽出器を組み合わせ、パラメータ効率と整合性の粒度を天秤にかける。
• ピクセルレベルの整合を伴う中間ドメイン生成は、意味的セグメンテーションのような微細なタスクの改善に寄与する可能性がある。