[論文レビュー] Source-Free Unsupervised Domain Adaptation: A Survey

Yuqi Fang, Pew‐Thian Yap+3 more|arXiv (Cornell University)|Dec 31, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本サーベイは、ソースデータが利用可能でない現実世界の展開を想定した、ソースフリー自己教師付きドメイン適応（SFUDA）手法について包括的かつ体系的なレビューを提供する。ソースモデルのパラメータへのアクセスに基づき、白ボックスとブラックボックスのアプローチに分類し、学習戦略、ベンチマーク、一般化性能を向上させる技術を分析することで、SFUDAにおける課題と今後の方向性を明らかにする。

ABSTRACT

Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.

研究の動機と目的

• プライバシー、コスト、計算リソースの制約により、しばしば入手不可能なソースデータが必要となる自己教師付きドメイン適応（UDA）におけるこの根本的な制限を克服すること。
• 最近のSFUDA手法について、過去のサーベイが深さや最新性に欠けていた空白を埋める、タイムリーで体系的な文献レビューを提供すること。
• ソースモデルパラメータへのアクセスに基づき、SFUDAアプローチを白ボックスとブラックボックスに分類し、さらに学習戦略に基づいて亜カテゴリに再分類すること。
• 白ボックスとブラックボックスSFUDAの利点・欠点を比較し、一般的に使われるベンチマークデータセットを要約し、モデルの一般化能を向上させる技術を同定すること。
• 継続的学習、クロスモダリティ適応、ソースフリー適応における半教師あり設定を含む、有望な今後の研究方向性を提示すること。

提案手法

• SFUDA手法を2つの主要なグループに分類する：白ボックス（ソースモデルパラメータへの完全アクセス）とブラックボックス（モデル推論またはAPIへのアクセスのみ）。
• 自己学習、 adversarial 学習、一貫性正則化、知識蒸留などの学習戦略に基づき、各カテゴリをさらに細分化する。
• 各亜カテゴリ固有の課題（分布シフト、モデル崩壊、継続的適応における忘却）を分析する。
• Office-Home、VisDA、およびドメイン特化型の医療画像データセット（MRIやCTスキャンからのもの）を含む、SFUDAで一般的に使われるベンチマークデータセットをレビュー・要約する。
• 分布整合性、特徴の最適化、ターゲットサンプル選択のための不確実性推定などの技術を検討し、モデルの一般化性能を向上させる。
• 神経アーキテクチャ探索（NAS）を用いた自動ターゲットモデル設計の統合、クロスモダリティ適応、および深刻な忘却を防ぐための継続的学習といった、今後の研究方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 白ボックスとブラックボックスSFUDA手法は、モデルへのアクセス、学習戦略、パフォーマンスのトレードオフの観点でどのように異なるか？
• RQ2 SFUDAの各亜カテゴリに特有の技術的課題は何か？ これらはモデルの一般化能と耐性にどのように影響するか？
• RQ3 SFUDA研究で最も一般的に使われるベンチマークデータセットは何か？ これらは現実世界のドメインシフト状況をどのように反映しているか？
• RQ4 ソースデータが完全に入手不可能な状況で、モデルの一般化性能を向上させるために最も効果的な技術は何か？
• RQ5 継続的学習、クロスモダリティ適応、NASといった今後の研究方向性の中で、SFUDAの発展に最も期待が寄せられるのはどれか？

主な発見

• ソースモデルパラメータへのアクセスを持つ白ボックスSFUDA手法は、より正確な知識蒸留とパラメータレベルの最適化が可能であるため、ブラックボックス手法よりも一般的に高いパフォーマンスを達成する。
• ブラックボックスSFUDA手法は、厳格なデータプライバシー制約がある現実世界のシナリオでより実用的であるが、モデル整合性と表現学習の面で課題を抱える。
• SFUDA研究で一般的に使われるベンチマークデータセットには、Office-Home、VisDA、およびMRIやCTスキャンからのドメイン特化型医療画像データセットが含まれ、これらは現実世界のドメインシフト問題を反映している。
• 一貫性正則化、分布整合性、不確実性を考慮したサンプル選択などの技術は、ドメイン差を低減し、ノイズの多い予測をフィルタリングすることで、SFUDAにおけるモデルの一般化性能を顕著に向上させる。
• 神経アーキテクチャ探索（NAS）による自動ターゲットモデル設計や、深刻な忘却を防ぐための継続的学習といった今後の方向性は強く有望であるが、ソースフリー設定ではまだ十分に検討されていない。
• 医療画像分野におけるCTからMRIへの転送といったクロスモダリティ適応は、有望ではあるが未開発に近い分野であり、アノテーションコストの低減とモデルの転送性向上の可能性を秘めている。