[論文レビュー] A Brief Review of Domain Adaptation

Abolfazl Farahani, Sahar Voghoei+2 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

この論文は、教師なしドメイン変遷（UDA）における機械学習の包括的レビューを提供しており、ラベルなしのターゲットデータを前提に、ソースドメインとターゲットドメインの分布を一致させる手法に焦点を当てている。浅いモデルと深いモデルの両方の手法を調査し、敵対的ドメイン変遷、ドメイン・コンfusion、GANベースのアプローチを含む。ドメイン不変表現を学習することで、分布シフトに伴うモデルの汎化性能が著しく向上することが示されている。

ABSTRACT

Classical machine learning assumes that the training and test sets come from the same distributions. Therefore, a model learned from the labeled training data is expected to perform well on the test data. However, This assumption may not always hold in real-world applications where the training and the test data fall from different distributions, due to many factors, e.g., collecting the training and test sets from different sources, or having an out-dated training set due to the change of data over time. In this case, there would be a discrepancy across domain distributions, and naively applying the trained model on the new dataset may cause degradation in the performance. Domain adaptation is a sub-field within machine learning that aims to cope with these types of problems by aligning the disparity between domains such that the trained model can be generalized into the domain of interest. This paper focuses on unsupervised domain adaptation, where the labels are only available in the source domain. It addresses the categorization of domain adaptation from different viewpoints. Besides, It presents some successful shallow and deep domain adaptation approaches that aim to deal with domain adaptation problems.

研究の動機と目的

• トレーニングデータと異なる分布からのテストデータが与えられた場合に生じる機械学習モデルの性能低下という課題に対処すること。
• ラベルなしのターゲットドメインに知識を転送できる教師なしドメイン変遷手法を調査すること。
• 分布の一致、タスク不変性、表現学習といった複数の視点からドメイン変遷を分類すること。
• ドメイン・コンフュージョン、MADA、CyCADAといった主要なディープラーニングベースのUDA手法を提示・分析し、連合分布の一致を図ること。
• 強固な転移学習を実現するためには、周辺分布と条件付きクラス分布の両方のシフトを最小限に抑えることが重要であることを強調すること。

提案手法

• ドメイン識別器がソースドメインとターゲットドメインを区別しようとするのを防ぐように、敵対的訓練を用いてドメイン不変特徴を学習する。これはドメイン分類器の損失を最小化することで実現される。
• ミニマックス最適化を用いてジェネレータとディスクラミネータを同時に学習し、ドメインの混同を最大化することで、特徴抽出器がドメイン間で区別不能な表現を生成するように強制する。
• ソフトラベル損失を導入することで、カテゴリ間のより豊かな関係（例：意味的類似性）をソースドメインとターゲットドメイン間で転送し、ハードラベルを超えた汎化性能の向上を図る。
• MADAでは、クラスごとのドメイン識別器を用いてクラス条件付き分布を一致させることで、不一致したクラス分布に起因する負の転送を低減する。
• サイクル整合性を強制することで、コンテンツとスタイルを保持しつつ、ドメインを一致させるため、ピクセルレベルと特徴レベルの適応を統合したサイクル整合的敵対的ドメイン変遷（CyCADA）を適用する。
• 生成的敵対的ネットワーク（GAN）を用いて、PixelDAとSimGANで、ピクセルレベルでの変換によりソース画像をターゲットドメインのスタイルに変換し、意味的コンテンツを保持する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインにラベルなしのデータが存在する場合、ソースドメインとターゲットドメイン間のドメインシフトをどのように効果的に軽減できるか？
• RQ2 特にクラス条件付き分布の連合分布一致が、ディープ特徴の転送性を向上させる役割を果たすか？
• RQ3 ドメイン・コンフュージョンやMADAといった敵対的ドメイン変遷手法は、周辺分布一致のみに比べて、負の転送をどの程度低減するか？
• RQ4 ピクセルレベルと特徴レベルの両方でGANベースのアプローチを用いる場合、意味的コンテンツを保持しながらターゲットドメインの分布に適応する能力は、どのように比較できるか？
• RQ5 ドメイン間の画像変換において、双方向の整合性を強制することで、サイクル整合的学習がドメイン変遷を改善できるか？

主な発見

• ドメイン・コンフュージョンを用いた敵対的ドメイン変遷は、ドメイン識別器が誤分類するような表現を学習することでドメインシフトを効果的に低減し、汎化性能の向上をもたらす。
• MADAは、単一のドメイン識別器を用いる手法よりも、クラス条件付き分布の細分化された一致を可能にすることで、負の転送を低減し、優れた性能を発揮する。
• ソフトラベル損失により、ハードラベルだけでなく、本棚とファイルキャビネットの間のようなカテゴリ間の類似性といった意味的関係を転送でき、性能が向上する。
• CyCADAは、ピクセルレベルと特徴レベルの適応をサイクル整合性を伴って統合することで、最先端の結果を達成し、コンテンツを保持しながらドメインを一致させる。
• PixelDA や SimGAN といったピクセルレベルの手法は、ソース画像をターゲットドメインのスタイルにうまく変換でき、視覚的ドメイン変遷タスクにおける性能向上に寄与する。
• 理論的分析により、ドメイン不変表現にはソースドメインまたはターゲットドメインを識別する情報が含まれてはならないことが示され、敵対的訓練におけるドメイン・コンフュージョンの有効性が裏付けられる。