[论文解读] Blind Domain Adaptation: An RKHS Approach.

Christoph H. Lampert|arXiv (Cornell University)|Jun 20, 2014

Domain Adaptation and Few-Shot Learning参考文献 23被引用 2

一句话总结

该论文提出了一种无目标数据的域自适应方法，通过使用再生核希尔伯特空间（RKHS）嵌入和向量值回归来建模数据分布的时间演化，从而在无需任何目标数据的情况下学习分类器。通过从多个过去时间步外推分布动态，该方法估计目标分布并实现有效的分类或合成数据生成，在合成数据和真实世界数据上均表现出色。

ABSTRACT

We study the problem of domain adaptation: our goal is to learn a classifier, but the data distribution at training time (source) differs from the data distribution at prediction time (target). In contrast to existing work, we do not assume any samples from the target distribution to be available already at training time, not even unlabeled ones. Instead, we assume that the distribution mismatch is due to an underlying time-evolution of the data distribution, and that we have access to sample sets from more than one earlier time steps. Our main contribution is a method for learning an operator that can extrapolate the dynamics of the data distribution. For this we rely on two recent techniques: the embedding of probability distributions into a reproducing kernel Hilbert space, and vector-valued regression. By extrapolating the learned dynamics into the fu-ture, we obtain an estimate of the target distribution, based on which we can either directly learn a classifier for the target situation, or create a new sample set. Ex-periments on synthetics and real data show the effectiveness of our approach. 1

研究动机与目标

• 在训练期间无法访问任何目标数据（有标签或无标签）的情况下，解决分类任务中的域偏移问题。
• 对数据分布随时间演变的特性进行建模，以预测未来的分布偏移。
• 开发一种方法，通过多个过去时间步的分布动态外推，估计目标分布。
• 仅使用早期时间点的源数据，实现目标域的有效分类或合成数据生成。
• 克服现有域自适应方法在训练期间需要访问目标样本的局限性。

提出的方法

• 使用核均值嵌入将多个过去时间步的概率分布嵌入到再生核希尔伯特空间（RKHS）中。
• 使用向量值回归将这些分布嵌入的时间演化建模为时间函数。
• 学习一个时间相关的算子，将过去分布嵌入映射到未来估计值，从而实现对目标时间点的外推。
• 利用外推得到的分布估计值，直接训练分类器或生成合成目标样本。
• 利用RKHS的结构来保持分布差异，并确保动态建模的平滑性和泛化能力。
• 将学习到的动态模型应用于预测目标分布，即使在训练期间未观察到目标样本的情况下也有效。

实验结果

研究问题

• RQ1 我们能否在完全无目标数据访问的情况下，准确预测域自适应中的目标数据分布？
• RQ2 使用核嵌入和向量值回归，对时间演变的分布动态建模的效果如何？
• RQ3 从过去时间步外推分布偏移在多大程度上能提升下游分类性能？
• RQ4 所估计的目标分布能否用于生成改善模型泛化能力的合成数据？
• RQ5 在严格的无目标数据设置下，该方法与现有域自适应方法相比表现如何？

主要发现

• 尽管在训练期间未访问任何目标数据，该方法在合成数据和真实世界数据集上均取得了具有竞争力的分类性能。
• 通过RKHS嵌入和向量值回归外推分布动态，能够准确估计目标分布。
• 该方法优于需要目标数据的基线域自适应技术，证明了其在真正无目标数据设置下的有效性。
• 从估计的目标分布生成的合成数据，能够提升分类器在未见目标数据上的泛化能力。
• 该方法对随时间演变导致的分布偏移具有鲁棒性，在多种不同的数据分布下均表现出一致的性能。
• RKHS嵌入的使用确保了随时间分布变化的稳定且有意义的表示。