[論文レビュー] Unsupervised Domain Adaptation with Progressive Domain Augmentation

Kevin Hua, Yuhong Guo|arXiv (Cornell University)|Apr 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 4

ひとこと要約

本稿では、Mixupに基づくデータ補間を用いて仮想の中間ドメインを生成し、Grassmann多様体上で段階的サブスぺースアライメントを実行する、新しい非教師付きドメイン適応手法であるプログレッシブ・ドメイン・オーグメンテーション（PrDA）を提案する。複数のアライメントステップを通じて段階的にドメインシフトを埋めることで、Office-31、Office-Caltech-10、ImageCLEF-DAベンチマークで最先端の性能を達成し、特にドメイン間の発散が大きい状況下で顕著な優位性を示す。

ABSTRACT

Domain adaptation aims to exploit a label-rich source domain for learning classifiers in a different label-scarce target domain. It is particularly challenging when there are significant divergences between the two domains. In the paper, we propose a novel unsupervised domain adaptation method based on progressive domain augmentation. The proposed method generates virtual intermediate domains via domain interpolation, progressively augments the source domain and bridges the source-target domain divergence by conducting multiple subspace alignment on the Grassmann manifold. We conduct experiments on multiple domain adaptation tasks and the results shows the proposed method achieves the state-of-the-art performance.

研究の動機と目的

• 直接アライメントが失敗するような、非教師付きドメイン適応における大きなドメインシフトの課題に対処すること。
• 大きなドメインシフトを小さな段階的ステップに分解することで、情報損失を低減し、アライメントの安定性を向上させること。
• 中間の仮想ドメインを活用することで、滑らかなドメイン適応を実現し、標準ベンチマークにおける性能を向上させること。
• 高いドメイン間発散を伴う状況でも、段階的アライメントの有効性を検証すること。
• 多様なドメイン適応タスクにおいて、最先端の性能を示すことを目的とする。

提案手法

• 本手法は、ソースドメインとターゲットドメイン間のMixupに基づくデータ補間を用いて、仮想の中間ドメインの系列を生成する。
• ソースドメインと各仮想中間ドメインの間で、Grassmann多様体上に複数のサブスぺースアライメントを段階的に実行する。
• 各アライメントステップの後、仮想ドメインからの疑似ラベル付きデータを用いてソースドメインを拡張し、その表現を段階的にターゲットドメインに近づける。
• 一度に大きなドメイン発散を補正するのではなく、段階的にドメイン発散を低減することで、アライメント品質を段階的に向上させる。
• 特徴抽出にはResNet-50を用い、Grassmann多様体上の射影行列を介したサブスぺースアライメントに依存する。
• 代わりに、直接の敵対的訓練や再構成損失を避けて、構造的で段階的なドメインアライメントに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 仮想中間ドメインを用いた段階的ドメインオーグメンテーションは、非教師付きドメイン適応におけるアライメントの安定性と性能を向上させるか？
• RQ2 大きなドメインシフトを複数の小さなアライメントステップに分解することで、情報損失を低減し、一般化性能を向上させられるか？
• RQ3 Office-Caltech-10のような高いドメイン間発散を伴うベンチマークにおいて、本手法はどのように性能を示すか？
• RQ4 段階的アライメントは、単一ステップのドメインアライメント手法に比べ、精度と頑健性の面で優れているか？
• RQ5 Ad-REM、MEDA、CDANといった最先端の手法と比較して、本手法は多様な転移タスクにおいてどのように性能を発揮するか？

主な発見

• PrDAはOffice-Caltech-10ベンチマークの12の転送タスクのうち7つで最先端の性能を達成した。
• Office-Caltech-10データセットでは、D→Wタスクで99.7%、A→Wタスクで99.3%の精度を達成し、すべてのベースラインを上回った。
• ImageCLEF-DAベンチマークでは、I→Pで81.8%、P→Iで91.0%、P→Cで95.5%の精度を達成し、DANN、CDAN、MEDAのいくつかのタスクで優れた性能を示した。
• ドメイン分類器の精度がA→DおよびD→Aで76.1%に達したため、顕著なドメインシフトが存在する高発散タスクでも強力な性能を示した。
• 低発散タスクに対しても競争力ある結果を達成しており、ドメイン類似度の異なる状況においても頑健であることが示された。
• アブレーションスタディにより、仮想ドメインを用いた段階的アライメントが直接アライメントに比べて顕著に性能向上をもたらすことが確認された。