[論文レビュー] Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation

Wen Zhang, Dongrui Wu|arXiv (Cornell University)|Dec 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 5

ひとこと要約

本稿では、転移性のための結合確率分布の不一致を同時に最小化し、識別性のためのクラス間の不一致を最大化する、新しいドメイン適応手法である判別的共同確率最大平均差分（DJP-MMD）を提案する。共同確率ドメイン適応フレームワークで評価されたDJP-MMDは、6つの画像分類データセットにおいて従来のMMDベースの手法を上回り、高い精度とより速い収束性、向上した耐性を達成した。

ABSTRACT

Maximum mean discrepancy (MMD) has been widely adopted in domain adaptation to measure the discrepancy between the source and target domain distributions. Many existing domain adaptation approaches are based on the joint MMD, which is computed as the (weighted) sum of the marginal distribution discrepancy and the conditional distribution discrepancy; however, a more natural metric may be their joint probability distribution discrepancy. Additionally, most metrics only aim to increase the transferability between domains, but ignores the discriminability between different classes, which may result in insufficient classification performance. To address these issues, discriminative joint probability MMD (DJP-MMD) is proposed in this paper to replace the frequently-used joint MMD in domain adaptation. It has two desirable properties: 1) it provides a new theoretical basis for computing the distribution discrepancy, which is simpler and more accurate; 2) it increases the transferability and discriminability simultaneously. We validate its performance by embedding it into a joint probability domain adaptation framework. Experiments on six image classification datasets demonstrated that the proposed DJP-MMD can outperform traditional MMDs.

研究の動機と目的

• 従来のドメイン適応手法が周辺分布と条件付き分布の不一致を別々に扱うため、より自然な結合確率分布の不一致を無視するという限界を解決すること。
• 同じクラス内のドメイン不一致を最小化する転移性と、異なるクラス間のドメイン不一致を最大化する識別性を同時に向上させることで、ドメイン適応の性能を向上させること。
• 従来の共同MMDの代替として、理論的に妥当で、より単純かつ正確なドメイン分布シフトの測定法を提供すること。
• 実世界の画像分類ベンチマークを用いた広範な実験を通じて、提案手法DJP-MMDの有効性を検証すること。

提案手法

• DJP-MMDは、特徴量とラベルの結合確率分布に基づいて、源ドメインとターゲットドメイン間の不一致を計算する。周辺分布と条件付き分布を別々に扱うのではなく、それらの結合分布を用いる。
• クラス間のドメイン不一致を最大化する判別的要素を導入し、ドメイン間で異なるクラスの結合確率MMDを最大化することで、クラス分離性を向上させる。
• シンプルな正則化を用いた共同確率ドメイン適応（JPDA）フレームワークに統合され、エンドツーエンド最適化が可能である。
• 非線形ドメインシフトに対応できるようにカーネル化されており、ディープラーニングや敵対的学習の文脈でも応用可能である。
• トレードオフパラメータμと正則化パラメータλを用いて、転移性と識別性のバランスを最適化する。
• 収束性と特徴量分布の整合性を検証するために、t-SNE可視化とMMD距離の追跡を用いる。

実験結果

リサーチクエスチョン

• RQ1 周辺分布と条件付きMMDと比較して、結合確率分布の不一致は、ドメインシフトの測定においてより正確で単純な指標を提供できるか？
• RQ2 転移性と識別性を同時に最適化することで、ドメイン適応における分類性能が向上するか？
• RQ3 精度、収束速度、耐性の観点から、DJP-MMDは従来のMMDベースの手法と比べてどのように差をつけるか？
• RQ4 μとλのハイパーパrameterの変動に対して、提案手法はどの程度耐性を示すか？
• RQ5 DJP-MMDは、特徴量のドメイン間整合性を効果的に実現しながら、クラス間分離性を維持できるか？

主な発見

• USPS+MNISTデータセットでは、DJP-MMDが平均分類精度60.68%を達成し、ベースライン手法を上回った。
• Multi-PIEデータセットでは、JPDAがJDA（94.46秒）やBDA（107.47秒）よりも早く収束し、平均MMD距離を46.12秒まで低下させ、計算時間の50％以上を削減した。
• アブレーションスタディの結果、DJP-MMD（判別的MMDを組み込んだもの）は、JP-MMD（転移性のみ）や共同MMDベースラインと比較して、顕著に性能向上を示した。
• t-SNE可視化の結果、JPDAは同じクラスのサンプルをドメイン間で効果的に統合しながら、異なるクラス間の明確な分離を維持していることが示された。
• μ ∈ [0.001, 0.2] および λ ∈ [0.01, 10] の範囲で、ハイパーパrameterに対して高い耐性を示し、広い範囲の値で高い性能を維持した。
• 6つのすべてのデータセットにおいて、DJP-MMDは従来のMMDベースの手法を一貫して上回り、ドメイン不一致の測定精度と分類精度の向上における優位性を確認した。