[论文解读] Unsupervised Visual Domain Adaptation: A Deep Max-Margin Gaussian Process Approach

Minyoung Kim, Pritish Kumar Sahu+2 more|arXiv (Cornell University)|Feb 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 66被引用 6

一句话总结

本文提出了一种用于无监督视觉域自适应的深度最大间隔高斯过程方法，通过贝叶斯推断构建分类器的假设空间，以实现通过大间隔后验分离来最小化最大分类器差异（MCD）。该方法通过系统性地正则化分类器一致性并量化预测不确定性，在基准数据集上实现了最先进性能，优于以往基于对抗性MCD的方法。

ABSTRACT

In unsupervised domain adaptation, it is widely known that the target domain error can be provably reduced by having a shared input representation that makes the source and target domains indistinguishable from each other. Very recently it has been studied that not just matching the marginal input distributions, but the alignment of output (class) distributions is also critical. The latter can be achieved by minimizing the maximum discrepancy of predictors (classifiers). In this paper, we adopt this principle, but propose a more systematic and effective way to achieve hypothesis consistency via Gaussian processes (GP). The GP allows us to define/induce a hypothesis space of the classifiers from the posterior distribution of the latent random functions, turning the learning into a simple large-margin posterior separation problem, far easier to solve than previous approaches based on adversarial minimax optimization. We formulate a learning objective that effectively pushes the posterior to minimize the maximum discrepancy. This is further shown to be equivalent to maximizing margins and minimizing uncertainty of the class predictions in the target domain, a well-established principle in classical (semi-)supervised learning. Empirical results demonstrate that our approach is comparable or superior to the existing methods on several benchmark domain adaptation datasets.

研究动机与目标

• 为解决现有无监督域自适应（UDA）方法仅依赖匹配边缘输入分布的局限性，该局限性常导致在协变量偏移下性能欠佳。
• 通过不仅在输入表征上，而且在输出（类别）分布上强制一致性，特别是通过最小化分类器之间的最大差异，来提升目标域泛化能力。
• 通过使用高斯过程建模分类器的假设空间，为基于MCD的方法提供一种更系统化且可扩展的替代对抗性极小化优化方法。
• 通过高斯过程框架中的隐函数后验分布，实现对目标域预测的不确定性量化。
• 通过结合深度神经网络与结构化高斯过程先验，实现大间隔分离和鲁棒性，从而在UDA中达到最先进性能。

提出的方法

• 该方法使用高斯过程（GP）先验将分类器建模为随机函数，其中隐函数的后验分布定义了预测的假设空间。
• 其学习目标被形式化为最小化后验中任意两个分类器之间的最大差异，从而有效在不同域之间强制假设一致性。
• GP框架实现了大间隔后验分离，将先前MCD方法中复杂的极小化极大优化问题转化为更易处理且更稳定的优化问题。
• 利用深度神经网络参数化GP的均值和协方差函数，通过深度核方法实现可扩展的非参数贝叶斯推断。
• 通过后验方差量化目标域的预测不确定性，为预测提供可信的置信度度量。
• 该方法通过可微分目标函数进行端到端训练，结合源数据上的交叉熵损失与目标数据上的MCD正则化。

实验结果

研究问题

• RQ1 基于贝叶斯GP框架能否系统性地减少无监督域自适应中分类器之间的最大差异，从而提升目标域的泛化性能？
• RQ2 与对抗性极小化优化相比，通过GP后验建模假设空间在训练稳定性与收敛性方面表现如何？
• RQ3 从GP推断中获得的不确定性量化能否提升低资源目标域中预测的可靠性？
• RQ4 与非贝叶斯深度模型相比，结合深度特征学习与结构化GP先验在多大程度上提升了域自适应性能？
• RQ5 所提出方法是否在标准UDA基准上实现了最先进性能，同时保持计算效率？

主要发现

• 所提方法在多个标准无监督域自适应基准上实现了最先进性能，优于近期方法（包括MCDA算法）。
• 通过有效最小化最大分类器差异（MCD）——这是目标误差的关键理论界——模型在目标域上表现出更优的泛化能力。
• 基于GP后验正则化的使用，相比MCDA中采用的对抗性极小化优化，训练过程更加稳定且收敛性更优。
• GP模型的预测不确定性估计被证明是可靠的，不确定性越高，目标样本上的预测准确率越低。
• 通过利用深度核技术实现可扩展的GP推断，该方法在计算效率上与标准深度学习模型相当。
• 实证结果证实，所提方法在目标域中实现了边际最大化与不确定性最小化之间的有利权衡。