[論文レビュー] Beyond H-Divergence: Domain Adaptation Theory With Jensen-Shannon Divergence.

Changjian Shui, Qi Chen+4 more|arXiv (Cornell University)|Jul 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 14

ひとこと要約

本稿は、H-発散フレームワークの欠陥を補うために、連合分布Jensen-Shannon発散（JSD）に基づく新しいドメイン適応理論を提案する。これは、ターゲットリスクのタイトな上界および下界を確立し、条件付き、周辺、ラベルシフトの統一的最適化原理を可能にし、実データセットを用いた実証的検証により、H-発散の制限を超えた一般化の向上を示している。

ABSTRACT

We reveal the incoherence between the widely-adopted empirical domain adversarial training and its generally-assumed theoretical counterpart based on $\mathcal{H}$-divergence. Concretely, we find that $\mathcal{H}$-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on joint distributional Jensen-Shannon divergence. We further derive bi-directional upper bounds for marginal and conditional shifts. Our framework exhibits inherent flexibilities for different transfer learning problems, which is usable for various scenarios where $\mathcal{H}$-divergence-based theory fails to adapt. From an algorithmic perspective, our theory enables a generic guideline unifying principles of semantic conditional matching, feature marginal matching, and label marginal shift correction. We employ algorithms for each principle and empirically validate the benefits of our framework on real datasets.

研究の動機と目的

• 実験的ドメインアダプティブトレーニングとその仮定するH-発散の理論的基盤との間の理論的不整合を特定すること。
• より正確なドメイン適応リスクバウンディングのため、Jensen-Shannon発散に基づく新しい理論的枠組みを構築すること。
• 意味的条件付きマッチング、特徴の周辺マッチング、ラベルシフト補正といった多様な転移学習の原則を、一つの柔軟な理論的構造に統合すること。
• H-発散に基づくアプローチの制限を超えて、理論的に妥当でかつ柔軟に適応可能なドメイン適応のフレームワークを提供すること。

提案手法

• 連合分布Jensen-Shannon発散を核心的な理論的測度として用い、ターゲットリスクの上界および下界を導出する。
• 周辺分布および条件付き分布の両方のシフトに対して双方向のバウンディングを確立し、複雑なドメインシフト状況の分析を可能にする。
• 共通のJSDベースの目的関数を通じて、条件付きマッチング、周辺マッチング、ラベルシフト補正を統合する統一的最適化原理を定式化する。
• 各統一的原理に適合するアルゴリズムを設計・実装し、フレームワークの実証的検証を図る。
• 実世界のデータセットを用いて、提案フレームワークを既存のH-発散ベースの手法と比較して評価する。
• JSDベースのフレームワークが、多様なドメインシフト設定において、H-発散よりもタイトで信頼性の高い一般化バウンディングを実現できることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜドメインアダプティブトレーニングの実験的成功は、H-発散に基づく理論的基盤と矛盾するのか？
• RQ2 Jensen-Shannon発散をH-発散の代わりに用いることで、より正確なドメイン適応の理論的フレームワークを構築できるか？
• RQ3 連合分布JSDをどのように用いて、ドメイン適応におけるターゲットリスクの意味のある上界および下界を導出できるか？
• RQ4 JSDベースのフレームワークは、条件付きマッチング、周辺マッチング、ラベルシフト補正といった異なる原則をどの程度統合できるか？
• RQ5 提案フレームワークは、多様なドメインシフト状況において、一般化性能の測定可能な向上をもたらすか？

主な発見

• 本稿は、H-発散理論とドメインアダプティブトレーニングにおける実際の最適化目的との間の根本的な不整合を特定した。
• 連合分布Jensen-Shannon発散に基づく新しい理論的枠組みが確立され、ターゲットリスクのよりタイトで正確なバウンディングが可能になった。
• 周辺および条件付きシフトのための双方向バウンディングが導出され、複雑なドメインシフトパターンの包括的分析が可能になった。
• フレームワークは、意味的条件付きマッチング、特徴の周辺マッチング、ラベル周辺シフト補正を、一つの整合的な最適化目的関数に統合した。
• 実データセットを用いた実証的結果から、提案されたJSDベースのフレームワークが一般化性能を向上させ、H-発散ベースの手法を上回ることを確認した。