[论文解读] Correlation Alignment for Unsupervised Domain Adaptation

Baochen Sun, Jiashi Feng+1 more|arXiv (Cornell University)|Dec 6, 2016

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 CORAL，一种简单而有效的无监督域自适应方法，通过匹配源域和目标域的二阶统计量（协方差矩阵）来减少域偏移。通过最小化源域和目标域特征协方差矩阵之间的弗罗贝尼乌斯范数，CORAL 实现了无需目标标签的高效特征变换，在基准数据集上取得了最先进性能，尤其在与深度神经网络结合时（Deep CORAL）。

ABSTRACT

In this chapter, we present CORrelation ALignment (CORAL), a simple yet effective method for unsupervised domain adaptation. CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. In contrast to subspace manifold methods, it aligns the original feature distributions of the source and target domains, rather than the bases of lower-dimensional subspaces. It is also much simpler than other distribution matching methods. CORAL performs remarkably well in extensive evaluations on standard benchmark datasets. We first describe a solution that applies a linear transformation to source features to align them with target features before classifier training. For linear classifiers, we propose to equivalently apply CORAL to the classifier weights, leading to added efficiency when the number of classifiers is small but the number and dimensionality of target examples are very high. The resulting CORAL Linear Discriminant Analysis (CORAL-LDA) outperforms LDA by a large margin on standard domain adaptation benchmarks. Finally, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (DNNs). The resulting Deep CORAL approach works seamlessly with DNNs and achieves state-of-the-art performance on standard benchmark datasets. Our code is available at:~\url{https://github.com/VisionLearningGroup/CORAL}

研究动机与目标

• 解决训练与测试数据分布不同的视觉域自适应中的域偏移问题。
• 开发一种方法，利用大量未标注的目标域数据提升模型泛化能力，而无需目标域标注。
• 提出一种简单、高效且有效的方法，可轻松集成到现有机器学习流程中。
• 将该方法扩展至深度神经网络，实现端到端的无监督自适应。
• 在标准基准上证明其性能优于现有域自适应技术。

提出的方法

• 最小化源域和目标域协方差矩阵之间的弗罗贝尼乌斯范数，以对齐其二阶统计量。
• 使用目标域协方差对源域特征进行线性变换：先对源域特征进行白化处理，再用目标域协方差重新着色。
• 对于线性分类器，直接对分类器权重应用 CORAL 变换，实现在目标数据高维时的高效自适应。
• 提出 CORAL-LDA 变体，将 CORAL 与线性判别分析结合，性能优于标准 LDA。
• 通过可微的 CORAL 损失层（dCORAL）将 CORAL 扩展至深度网络，实现对中间层激活的对齐。
• 将 Deep CORAL 集成到任意深度神经网络架构中，实现端到端的无监督域自适应。

实验结果

研究问题

• RQ1 对齐二阶统计量是否能有效减少无监督域自适应中的域偏移？
• RQ2 与现有基于子空间或分布匹配的方法相比，CORAL 在准确率和效率方面表现如何？
• RQ3 能否通过变换分类器权重而非特征，高效地将 CORAL 应用于线性分类器？
• RQ4 所提出的 Deep CORAL 方法是否在端到端深度域自适应中达到最先进性能？
• RQ5 当仅使用少量真实图像或虚拟数据进行自适应时，CORAL 表现如何？

主要发现

• CORAL-LDA 在跨域基准上显著优于标准 LDA，在 DSLR→Webcam 任务中达到 68.2% 的平均平均精度（mAP）。
• Deep CORAL 在标准域自适应基准上取得最先进性能，在 Office-31 和 PASCAL VOC 数据集上优于先前方法。
• 使用 CORAL 的半监督自适应在 DSLR→Webcam 任务中达到 71.4% mAP，显著超过 ICRA14 方法的 42.9% mAP。
• 即使每类仅有 30 张虚拟图像和 1,000 张背景图像，CORAL 的性能仍与使用 1,000–2,000 张真实 ImageNet 图像训练的方法相当或更优。
• 该方法对域偏移具有鲁棒性，虚拟灰度数据表现优于虚拟数据，DSLRC 表现最佳，因其域相似性更高。
• 无监督 CORAL 方法在 DSLR→Webcam 任务中达到 67.1% mAP，显著优于 ICRA14 基线半监督方法的 42.9% mAP。