[论文解读] Deep CORAL: Correlation Alignment for Deep Domain Adaptation

Baochen Sun, Kate Saenko|arXiv (Cornell University)|Jul 6, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用 368

一句话总结

Deep CORAL 将可微的 CORAL 损失整合到深度网络中，以对齐源和目标特征协方差，从而实现端到端的无监督域自适应，并达到最先进的结果。

ABSTRACT

Deep neural networks are able to learn powerful representations from large quantities of labeled input data, however they cannot always generalize well across changes in input distributions. Domain adaptation algorithms have been proposed to compensate for the degradation in performance due to domain shift. In this paper, we address the case when the target domain is unlabeled, requiring unsupervised adaptation. CORAL is a "frustratingly easy" unsupervised domain adaptation method that aligns the second-order statistics of the source and target distributions with a linear transformation. Here, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (Deep CORAL). Experiments on standard benchmark datasets show state-of-the-art performance.

研究动机与目标

• 激励在目标域无标签的情况下进行无监督域自适应。
• 将 CORAL 扩展为可微的深度损失，以实现端到端训练。
• 学习非线性变换，使跨域层激活的相关性对齐。
• 在标准域自适应基准上展示更优的性能。

提出的方法

• 将 CORAL 损失定义为源协方差矩阵与目标协方差矩阵之间的平方 Frobenius 范数。
• 从网络中选定层的批量激活计算协方差。
• 在端到端目标中将 CORAL 损失与标准分类损失结合。
• 在源和目标路径共享参数的情况下进行训练，使用带标签的源数据和无标签的目标数据。
• 将 CORAL 损失应用于不同的层或架构；在 AlexNet 的最后分类层（fc8）上进行演示。

实验结果

研究问题

• RQ1 是否可以将可微的 CORAL 损失整合到深度网络中，以实现无监督域自适应？
• RQ2 对深度特征的二阶统计量（协方差）进行对齐是否在没有标记的目标数据的情况下改善目标域性能？
• RQ3 在标准基准上，Deep CORAL 与现有的无监督域自适应方法相比如何？

主要发现

Shift	A → D	A → W	D → A	D → W	W → A	W → D	AVG
GFK	52.4 ± 0.0	54.7 ± 0.0	43.2 ± 0.0	92.1 ± 0.0	41.8 ± 0.0	96.2 ± 0.0	63.4
SA	50.6 ± 0.0	47.4 ± 0.0	39.5 ± 0.0	89.1 ± 0.0	37.6 ± 0.0	93.8 ± 0.0	59.7
TCA	46.8 ± 0.0	45.5 ± 0.0	36.4 ± 0.0	81.1 ± 0.0	39.5 ± 0.0	92.2 ± 0.0	56.9
CORAL	65.7 ± 0.0	64.3 ± 0.0	48.5 ± 0.0	96.1 ± 0.0	48.2 ± 0.0	99.8 ± 0.0	70.4
CNN	63.8 ± 0.5	61.6 ± 0.5	51.1 ± 0.6	95.4 ± 0.3	49.8 ± 0.4	99.0 ± 0.2	70.1
DDC	64.4 ± 0.3	61.8 ± 0.4	52.1 ± 0.8	95.0 ± 0.5	52.2 ± 0.4	98.5 ± 0.4	70.6
DAN	65.8 ± 0.4	63.8 ± 0.4	52.8 ± 0.4	94.6 ± 0.5	51.9 ± 0.5	98.8 ± 0.6	71.3
D-CORAL	66.8 ± 0.6	66.4 ± 0.4	52.8 ± 0.2	95.7 ± 0.3	51.5 ± 0.3	99.2 ± 0.1	72.1

• 与七个基线相比，Deep CORAL 在 Office 基准上实现了最先进的性能。
• 在六个域偏移中的 3 个，Deep CORAL 获得最高准确率；在另外 3 个中，增益适中（≤0.7）。
• 将分类损失与 CORAL 损失结合可在源域和目标域之间实现平衡提升。
• 可视化分析表明，CORAL 在微调过程中促使更小的域差异，并保留源域的判别性性能。
• 端到端的 CORAL 损失可以无缝集成到 CNN 中，并可应用于不同层和架构。