[論文レビュー] Semi-supervised Models are Strong Unsupervised Domain Adaptation Learners

Yabin Zhang, Haojian Zhang+4 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 15

ひとこと要約

本論文は、特にFixMatchなどの最先端の半教師あり学習（SSL）手法が、教師なしドメイン変遷（UDA）ベンチマーク、特にDomainNetにおいて、教師なしターゲットデータを活用することで、従来のUDA手法を著しく上回ることを示している。著者らは、SSLがUDAの特殊ケースであることを示し、SSL手法をUDAタスクに適応させることで最先端の性能が得られることを示唆しており、今後のUDA研究におけるSSL手法の標準ベースラインの採用を提唱している。

ABSTRACT

Unsupervised domain adaptation (UDA) and semi-supervised learning (SSL) are two typical strategies to reduce expensive manual annotations in machine learning. In order to learn effective models for a target task, UDA utilizes the available labeled source data, which may have different distributions from unlabeled samples in the target domain, while SSL employs few manually annotated target samples. Although UDA and SSL are seemingly very different strategies, we find that they are closely related in terms of task objectives and solutions, and SSL is a special case of UDA problems. Based on this finding, we further investigate whether SSL methods work on UDA tasks. By adapting eight representative SSL algorithms on UDA benchmarks, we show that SSL methods are strong UDA learners. Especially, state-of-the-art SSL methods significantly outperform existing UDA methods on the challenging UDA benchmark of DomainNet, and state-of-the-art UDA methods could be further enhanced with SSL techniques. We thus promote that SSL methods should be employed as baselines in future UDA studies and expect that the revealed relationship between UDA and SSL could shed light on future UDA development. Codes are available at \url{https://github.com/YBZh}.

研究の動機と目的

• 教師なしドメイン変遷（UDA）と半教師あり学習（SSL）の関係を調査すること。これらは従来、別個のパラダイムとして扱われてきた。
• 最先端のSSL手法が、UDAベンチマークに効果的に適応可能で、既存のUDA固有の手法を上回る性能を達成できるかどうかを評価すること。
• ドメイン差分最小化の優位性を揺るがすために、SSLベースのアプローチが優れた性能を達成することを示し、UDAにおけるドメイン差分最小化の支配的役割を挑戦すること。
• 今後のUDA研究において、SSL手法を標準ベースラインとして採用することを提唱すること。

提案手法

• FixMatch、一貫性正則化、エントロピー最小化などの代表的な8種類のSSLアルゴリズムを、VisDA-2017、Office-Home、Office-31、DomainNetの4つの標準的UDAベンチマークに適応した。
• SSL損失を特徴抽出器 $ g $ のみに適用することが、分類器に適用するか、両者に同時に適用するよりも、UDAタスクで一貫して高い性能を発揮することを確認したため、この設定を採用した。
• 標準的なUDA評価プロトコルを用い、公平な比較を保つために、ラベル付きターゲット検証セットに基づくモデル選択を実施した。
• アルゴリズム的設計による性能差を隔離するために、各手法間で一貫したデータ前処理戦略を採用した。
• UDAとSSL手法がソースドメインとターゲットドメイン間の分布シフトをどの程度軽減しているかを比較するため、$ \mathcal{A} $-距離を用いてドメインの乖離を分析した。
• 収束性、損失適用方法、前処理戦略に関するアブレーションスタディを実施し、主張の堅牢性と一般化性を検証した。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン変遷（UDA）と半教師あり学習（SSL）の間に根本的な関係があるのか。具体的には、SSLがUDAの特殊ケースとして見なせるのか。
• RQ2 最先端のSSL手法が、既存のUDA固有の手法よりも、UDAベンチマークで優れた性能を達成できるのか。
• RQ3 SSL損失を特徴抽出器 $ g $ のみに適用する方が、分類器に適用するか、両者に同時に適用するよりも、UDA性能が向上するのか。
• RQ4 データ前処理戦略が、UDAベンチマークにおけるSSL手法とUDA手法の性能差にどのように影響するのか。
• RQ5 SSL技術を統合することで、UDA手法の性能をさらに向上させられるのか。もしそうならば、どのコンponentsが最も効果的か。

主な発見

• 最先端のSSL手法であるFixMatchは、挑戦的なDomainNetベンチマークにおいて、すべての既存のUDA手法を2.0%以上の正確性で上回った。
• SSL手法は一部のタスクでドメイン乖離を顕著に低減したが、DANN や CDAN のような専用のUDA手法ほど効果的ではなかった。これは、ドメインアライメントが性能の唯一の要因ではないことを示唆している。
• SSL損失を特徴抽出器 $ g $ のみに適用する設定が、分類器に適用するか、両者に同時に適用する設定よりも、UDAタスクで一貫して高い性能を発揮した。これは、アーキテクチャ設計が極めて重要であることを示している。
• データ前処理戦略は性能に顕著な影響を及ぼし、DomainNetでは一部の手法で2%以上の正確性の差が観察された。これは、UDA比較において一貫した前処理が不可欠であることを強調している。
• 実験的結果は、UDAにおけるドメイン差分最小化の支配的役割を疑問視するものであり、明示的なドメインアライメントなしに、SSLベースのアプローチが最先端の結果を達成できることを示している。
• UDA手法にSSL技術を統合することでさらなる性能向上が得られ、SSLが既存のUDAフレームワークを強化できることを示している。