[论文解读] Beyond H-Divergence: Domain Adaptation Theory With Jensen-Shannon Divergence.

Changjian Shui, Qi Chen+4 more|arXiv (Cornell University)|Jul 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 14

一句话总结

本文提出了一种基于联合分布Jensen-Shannon散度（JSD）的新领域自适应理论，取代有缺陷的H-散度框架。该理论建立了目标风险的紧致上下界，实现了对条件、边缘和标签偏移的统一优化原则，并在真实数据集上通过实证验证，展示了其在超越H-散度局限性方面的泛化性能提升。

ABSTRACT

We reveal the incoherence between the widely-adopted empirical domain adversarial training and its generally-assumed theoretical counterpart based on $\mathcal{H}$-divergence. Concretely, we find that $\mathcal{H}$-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on joint distributional Jensen-Shannon divergence. We further derive bi-directional upper bounds for marginal and conditional shifts. Our framework exhibits inherent flexibilities for different transfer learning problems, which is usable for various scenarios where $\mathcal{H}$-divergence-based theory fails to adapt. From an algorithmic perspective, our theory enables a generic guideline unifying principles of semantic conditional matching, feature marginal matching, and label marginal shift correction. We employ algorithms for each principle and empirically validate the benefits of our framework on real datasets.

研究动机与目标

• 识别领域对抗训练的实证成功与其基于H-散度的理论基础之间的理论不一致性。
• 基于Jensen-Shannon散度构建一个新理论框架，以获得更精确的领域自适应风险边界。
• 将语义条件匹配、特征边缘匹配和标签偏移校正等多样化的迁移学习原则统一于一个灵活的理论结构之下。
• 提供一个理论严谨且可扩展的领域自适应框架，突破基于H-散度方法的局限性。

提出的方法

• 以联合分布Jensen-Shannon散度为核心理论度量，推导目标风险的上下界。
• 为边缘分布和条件分布偏移建立双向边界，支持对复杂领域偏移场景的分析。
• 制定统一的优化原则，通过共享的JSD基础目标，涵盖条件匹配、边缘匹配和标签偏移校正。
• 设计并实现与每个统一原则对齐的算法，以实证验证该框架。
• 使用真实世界数据集评估所提出的框架与现有基于H-散度的方法的性能。
• 证明JSD框架在多样化领域偏移设置下，能够提供比H-散度更紧致、更可靠的泛化边界。

实验结果

研究问题

• RQ1 为何领域对抗训练的实证成功与其基于H-散度的理论基础相矛盾？
• RQ2 能否使用Jensen-Shannon散度而非H-散度，构建更精确的领域自适应理论框架？
• RQ3 如何利用联合分布JSD推导出领域自适应中目标风险的有意义上下界？
• RQ4 JSD框架在多大程度上能够统一条件匹配、边缘匹配和标签偏移校正等不同原则？
• RQ5 所提出的框架是否在多样化领域偏移场景下带来可测量的泛化性能提升？

主要发现

• 本文识别出H-散度理论与领域对抗训练实际优化目标之间存在根本性不一致，后者实际基于Jensen-Shannon散度。
• 建立了基于联合分布Jensen-Shannon散度的新理论框架，为目标风险提供了更紧致、更精确的边界。
• 推导出边缘和条件偏移的双向边界，支持对复杂领域偏移模式的全面分析。
• 该框架将语义条件匹配、特征边缘匹配和标签边缘偏移校正统一于单一原则化优化目标之下。
• 在真实数据集上的实证结果表明，所提出的JSD框架显著提升了泛化性能，并在多样化领域自适应场景中优于基于H-散度的方法。