[論文レビュー] Sequential Unsupervised Domain Adaptation through Prototypical Distributions.

Mohammad Rostami, Aram Galstyan|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 7

ひとこと要約

この論文は、初期学習後、元のソースデータにアクセスできない状況下でも、ラベル付きソースドメインからラベルなしのターゲットドメインへ知識を転送する順次的で教師なしドメイン適応手法を提案する。ソースデータから学習されたプロトタイプ分布を用いて、識別的埋め込み空間においてソースドメインとターゲットドメインの特徴をアライメントし、理論的裏付けとしてターゲットリスクの上界最適化を介して、共同学習型UDA手法と競合する性能を達成する。

ABSTRACT

We develop an algorithm for unsupervised domain adaptation (UDA) of a classifier from a labeled source domain to an unlabeled target domain in a sequential learning setting. UDA has been studied extensively recently but the vast majority of the existing methods consider a joint learning setting where the model is trained on the source domain and the target domain data simultaneously. We consider a more practical setting, where the model has been trained on the labeled source domain data and then needs to be adapted to the unlabeled source domain, without having access to the source domain training data. We tackle this problem by aligning the distributions of the source and the target domain in a discriminative embedding space. To overcome the challenges of learning in a sequential setting, we learn an intermediate prototypical distribution from the source labeled data and then use this distribution for knowledge transfer to the target domain. We provide theoretical justification for the proposed algorithm by showing that it optimizes an upper-bound for the expected risk in the target domain. We also conduct extensive experiments with several standard benchmarks and demonstrate the competitiveness of the proposed method compared to existing joint learning UDA algorithms.

研究の動機と目的

• 事前学習済み分類器を、ソース学習データへのアクセスが不可能な新しいラベルなしターゲットドメインに適応させる実用的課題に対処すること。
• 初期ソースドメイン学習後に知識転送が可能な順次的ドメイン適応フレームワークを構築すること。
• ラベル付きソースデータから学習したプロトタイプ分布を用いて、ドメインシフトをモデル化し、効果的なターゲットドメインアライメントを実現すること。
• ターゲットドメインにおける期待リスクの上界最適化を通じて、本手法の理論的裏付けを提供すること。
• 標準ベンチマーク上で本手法を評価し、最先端の共同学習型UDAアプローチと同等の性能を示すこと。

提案手法

• 本手法は、埋め込み空間におけるラベル付きソースドメインデータからプロトタイプ分布を学習し、適応のための知識のアンカーとして用いる。
• ターゲット特徴分布と学習済みソースプロトタイプ分布との距離を最小化することで、ソースドメインとターゲットドメインの分布をアライメントする。
• 適応は順次的に行われ、ソースデータへの再アクセスなしにターゲットドメインでモデルのファインチューニングが実行される。
• アルゴリズムはターゲットドメインにおける期待リスクの上界を最適化することで、適応プロセスに理論的裏付けを提供する。
• 効果的な特徴レベルのドメインアライメントが可能な識別的埋め込み空間で動作する。
• ソースデータの再トレーニングではなく、固定された学習済みソースプロトタイプを活用することで、深刻な忘却を回避する。

実験結果

リサーチクエスチョン

• RQ1 初期学習後、ソースデータにアクセスできない状況下でも、順次的ドメイン適応手法が、共同学習型UDA手法と同等の性能を達成できるか？
• RQ2 ラベル付きソースデータから学習したプロトタイプ分布は、ソースドメインとターゲットドメインの特徴をどれほど効果的にアライメントできるか？
• RQ3 提案手法は、ターゲットドメインリスクを最小化する理論的根拠のある最適化目的関数を提供するか？
• RQ4 本手法は、複数の標準ベンチマークで順次的適応設定において一般化可能か？
• RQ5 固定プロトタイプの使用は、順次的ドメイン適応における分布シフトをどのように緩和するか？

主な発見

• 提案手法は、標準ベンチマークにおいて最先端の共同学習型UDAアルゴリズムと同等の性能を達成する。
• 理論的分析により、本手法がターゲットドメインにおける期待リスクの上界を最適化していることが示され、設計の正当性が裏付けられる。
• 学習済みプロトタイプ分布の使用により、ソースデータが利用不可であっても効果的な知識転送が可能である。
• 順次的適応フレームワークは、ソース学習データへのアクセスなしにドメインシフトを効果的に緩和する。
• 広範な実験により、複数のベンチマークデータセットにおいて本手法のロバスト性と有効性が確認された。
• 本手法は、現実世界の順次的ドメイン適応シナリオにおいて優れた一般化能力を示した。