[論文レビュー] VDM-DA: Virtual Domain Modeling for Source Data-free Domain Adaptation

Jiayi Tian, Jing Zhang+2 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 9

ひとこと要約

本稿では、元のソースデータにアクセスせずに、特徴空間におけるガウス・ミックスチャネル・モデル（GMM）を用いて仮想ドメインを構築することで、ソースドメインとターゲットドメイン間の分布ギャップを埋める、新しいデータフリー非教師ありドメイン適応手法VDM-DAを提案する。不確実性を考慮した戦略によりターゲットドメインをこの仮想ドメインにアライメントさせることで、2D画像および3Dポイントクラウドのベンチマークにおいて最先端の性能を達成する。

ABSTRACT

Domain adaptation aims to leverage a label-rich domain (the source domain) to help model learning in a label-scarce domain (the target domain). Most domain adaptation methods require the co-existence of source and target domain samples to reduce the distribution mismatch, however, access to the source domain samples may not always be feasible in the real world applications due to different problems (e.g., storage, transmission, and privacy issues). In this work, we deal with the source data-free unsupervised domain adaptation problem, and propose a novel approach referred to as Virtual Domain Modeling (VDM-DA). The virtual domain acts as a bridge between the source and target domains. On one hand, we generate virtual domain samples based on an approximated Gaussian Mixture Model (GMM) in the feature space with the pre-trained source model, such that the virtual domain maintains a similar distribution with the source domain without accessing to the original source data. On the other hand, we also design an effective distribution alignment method to reduce the distribution divergence between the virtual domain and the target domain by gradually improving the compactness of the target domain distribution through model learning. In this way, we successfully achieve the goal of distribution alignment between the source and target domains by training deep networks without accessing to the source domain data. We conduct extensive experiments on benchmark datasets for both 2D image-based and 3D point cloud-based cross-domain object recognition tasks, where the proposed method referred to Domain Adaptation with Virtual Domain Modeling (VDM-DA) achieves the state-of-the-art performances on all datasets.

研究の動機と目的

• プライバシー、保存、送信制約により元のソースデータにアクセスできない状況下で、非教師ありドメイン適応におけるドメインシフトの課題に対処すること。
• 複雑なデータ生成や誤りの多い自己学習に依存する既存のデータフリーUDA手法の限界を克服すること。
• 汎用的でパラメータフリーな仮想ドメインモデリング手法を開発し、特徴空間におけるソースドメインの分布特性を保持すること。
• 新しい不確実性を考慮したドメインアライメント戦略により、ターゲットドメインの凝集性と仮想ドメインとのアライメントを向上させること。
• ソースデータへのアクセスを必要とせずに、2D画像や3Dポイントクラウドを含む多様なモダリティにおける効果的なドメイン適応を可能にすること。

提案手法

• 事前学習済みソースモデルの特徴から学習したガウス・ミックスチャネル・モデル（GMM）を用いて、高次元特徴空間に仮想ドメインを構築する。元のソースデータにアクセスしない。
• 事前学習済みソースモデルからの隠れた情報を用いて未知のGMMパラメータを近似し、追加の可学習パラメータを避ける。
• ハイパーパrameter λ を調整することで、クラス内分散を制御可能な仮想ドメインサンプルを生成する。λ は凝集性と多様性のバランスをとる。
• 不確実性を考慮したドメインアライメントモジュールを導入し、信頼度の高い予測のみを対象に選択的にアライメントすることで、ターゲットドメイン内のクラス内凝集性を向上させる。
• ソースと仮想ドメイン間、および仮想ドメインとターゲットドメイン間の分布ギャップを同時に低減することで、ドメイン差を最小化する。
• 最終分類器を、ターゲットドメインの予測に対する交差エントロピー損失と、不確実性を考慮したアライメントによる一貫性正則化を組み合わせて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 元のソースデータにアクセスせずに、特徴空間に効果的に仮想ドメインをモデリングし、ソースドメインの統計的分布を保持できるか？
• RQ2 ソースデータが利用できない状況下で、ターゲットドメインを仮想ドメインにどのようにアライメントできるか？
• RQ3 標準的なドメインアライメントと比較して、不確実性を考慮したアライメント戦略は、ターゲットドメインにおけるクラス内凝集性と一般化性能を向上させるか？
• RQ4 提案されたVDM-DAフレームワークは、2D画像や3Dポイントクラウドといった異なるデータモダリティにおいて、データフリー設定で汎用的に機能するか？
• RQ5 特に仮想ドメインサンプルの分散を制御するハイパーパrameter λ に対して、この手法はどれほど頑健か？

主な発見

• VDM-DAは、2D画像および3Dポイントクラウドベースのクロスドメインオブジェクト認識タスクにおいて、すべてのベンチマークデータセットで最先端の性能を達成する。
• VisDA17データセットでは、λ = 6 の条件下でトップ1正答率85.1％を達成し、λ の値が4から10の範囲で安定した性能を示す。
• t-SNE可視化により、仮想ドメインサンプルが実際のソースドメインサンプルとよく一致しており、元のソースデータよりも優れたクラス分離性を示すことが確認された。
• 不確実性を考慮したアライメント戦略により、ターゲットドメインの凝集性が顕著に向上し、vanillaアライメント手法と比較してよりクラス集中型の表現が得られた。
• 大規模なドメインシフトが生じる状況でも、安定した仮想ドメインがソース分布特性をよりよく保持するため、ベースラインのSFUDA手法（例：SHOT）を上回る性能を発揮した。
• アブレーションスタディの結果、仮想ドメイン構築と不確実性を考慮したアライメントの両方が最適な性能を達成するために不可欠であり、それぞれがドメインアライメントと分類精度の向上に寄与していることが示された。