[論文レビュー] A Unified Joint Maximum Mean Discrepancy for Domain Adaptation

Wei Wang, Baopu Li+7 more|arXiv (Cornell University)|Jan 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 8

ひとこと要約

本稿では、標本推定における複雑なテンソル積演算子の制約を克服し、トレーサブルで最適化可能なJMMDの形式を導出することで、周辺分布、クラス条件分布、重み付きクラス条件分布のドメイン適応を統一的に一般化する、統合的で一貫した連合最大平均差分（JMMD）フレームワークを提案する。特徴-ラベル依存性の劣化とラベル分布シフトの問題に対処するため、新たなヒルバート＝シュミット独立性に基づくMMD行列と、ラベルに頼らないロバストなラベルカーネルを導入し、標準的および分布シフトに強いドメイン適応ベンチマークで最先端の性能を達成した。

ABSTRACT

Domain adaptation has received a lot of attention in recent years, and many algorithms have been proposed with impressive progress. However, it is still not fully explored concerning the joint probability distribution (P(X, Y)) distance for this problem, since its empirical estimation derived from the maximum mean discrepancy (joint maximum mean discrepancy, JMMD) will involve complex tensor-product operator that is hard to manipulate. To solve this issue, this paper theoretically derives a unified form of JMMD that is easy to optimize, and proves that the marginal, class conditional and weighted class conditional probability distribution distances are our special cases with different label kernels, among which the weighted class conditional one not only can realize feature alignment across domains in the category level, but also deal with imbalance dataset using the class prior probabilities. From the revealed unified JMMD, we illustrate that JMMD degrades the feature-label dependence (discriminability) that benefits to classification, and it is sensitive to the label distribution shift when the label kernel is the weighted class conditional one. Therefore, we leverage Hilbert Schmidt independence criterion and propose a novel MMD matrix to promote the dependence, and devise a novel label kernel that is robust to label distribution shift. Finally, we conduct extensive experiments on several cross-domain datasets to demonstrate the validity and effectiveness of the revealed theoretical results.

研究の動機と目的

• ドメイン適応における連合最大平均差分（JMMD）の統一的で最適化可能な定式化の欠如に起因する、実証的推定における複雑なテンソル積演算子の障壁を解消すること。
• 標準JMMDが特徴-ラベル依存性（識別性）を劣化させることを明らかにし、分類性能に悪影響を及えること。
• 特にクラス数が不均衡なデータセットにおいて、重み付きクラス条件カーネルを用いる際のラベル分布シフトへの感受性を軽減すること。
• 特徴-ラベル相関を強化するために、ヒルバート＝シュミット独立性基準（HSI）に基づく新たなMMD行列を提案すること。
• ターゲットドメインにおけるラベル分布シフトへの感受性を低減するロバストなラベルカーネルを設計すること。

提案手法

• 異なるラベルカーネルの選択により、周辺分布、クラス条件分布、重み付きクラス条件分布を特別なケースとして含む、JMMDの統一的で解析的形の導出。
• 特徴-ラベル依存性を促進し、標準JMMDが引き起こす識別性の劣化を是正するため、ヒルバート＝シュミット独立性基準（HSI）から導出された新たなMMD行列 $\mathbf{M}^*$ を導入。
• ターゲットドメインにおけるラベル分布シフトへの感受性を低減するために、クラス事前確率を組み込んだ新たなラベルカーネル $\mathbf{K}_{yy}^4$ を提案。
• 標準JMMDとHSI強化MMD成分のバランスを調整する1つのハイパーパrameter $\delta$ を用いて、統一的JMMD目的関数を最適化。
• PCA、SVM、LP、NCP、DAベースラインを用いて、標準的およびラベル分布シフトのシナリオに適用し、評価を実施。
• 真のラベルを用いたアブレーションスタディにより、特徴分布距離とHSI指標の改善を検証。

実験結果

リサーチクエスチョン

• RQ1 周辺分布、クラス条件分布、重み付きクラス条件分布のドメイン適応を特別なケースとして含む、JMMDの統一的数学的定式化を導出可能か？
• RQ2 標準JMMDは特徴-ラベル依存性を劣化させるか？ もしそうであれば、最適化プロセスでその劣化をどのように是正できるか？
• RQ3 重み付きクラス条件JMMDはターゲットドメインにおけるラベル分布シフトに感受性を示すか？ そして、カーネル設計によってその感受性を低減可能か？
• RQ4 ヒルバート＝シュミット独立性基準に基づく新たなMMD行列は、ドメイン適応における特徴-ラベル相関を効果的に強化できるか？
• RQ5 特に $\delta$ に関して、標準的およびシフトに強いドメイン適応タスクにおいて、提案手法のハイパーパrameterの変動に対してどれほどロバストか？

主な発見

• 提案された統合的JMMDフレームワークは、Office10-Caltech10データセットの6つの標準的ドメイン適応タスクで最先端の性能を達成し、WWC*はD2で86.7%の正確度を達成し、従来手法を上回った。
• ラベル分布シフトのシナリオでは、WWC*はD2で81.0%の正確度を達成し、次善の手法（78.3%）を顕著に上回り、分布シフトに強い性能を示した。
• アブレーションスタディにより、提案されたHSIベースのMMD行列 ($\mathbf{M}^*$) が特徴-ラベル相関を効果的に向上させることを確認した。特徴埋め込みにおけるHSI距離の低下がその証左となった。
• 感受性分析の結果、最適な性能が常に $\delta = 0.1$ の周辺で達成されており、安定的でロバストなハイパーパrameterの挙動を示した。
• 統合的フレームワークにより、標準JMMDが特徴-ラベル依存性を劣化させることを明らかにした。この劣化は、提案されたHSI強化MMD行列とロバストなラベルカーネルによって是正された。
• 提案されたラベルカーネル $\mathbf{K}_{yy}^4$ は、ラベル分布シフト下での特徴分布の不整合を効果的に低減することが、可視化と定量的比較により実証された。