[论文解读] Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation

Pietro Morerio, Jacopo Cavazza+1 more|arXiv (Cornell University)|Nov 28, 2017

Domain Adaptation and Few-Shot Learning被引用 84

一句话总结

MECA 将协方差（二阶）对齐在 SPD 流形上与熵最小化绑定，使用测地距离和基于熵的无监督超参数选择器，以改进无监督深度域自适应。

ABSTRACT

In this work, we face the problem of unsupervised domain adaptation with a novel deep learning approach which leverages on our finding that entropy minimization is induced by the optimal alignment of second order statistics between source and target domains. We formally demonstrate this hypothesis and, aiming at achieving an optimal alignment in practical cases, we adopt a more principled strategy which, differently from the current Euclidean approaches, deploys alignment along geodesics. Our pipeline can be implemented by adding to the standard classification loss (on the labeled source domain), a source-to-target regularizer that is weighted in an unsupervised and data-driven fashion. We provide extensive experiments to assess the superiority of our framework on standard domain and modality adaptation benchmarks.

研究动机与目标

• 在目标标签不可用的情况下，推动无监督域自适应。
• 证明最优的相关对齐同时最小化源交叉熵和目标熵。
• 提出一种测地（SPD流形）距离，用于协方差对齐，相较于欧几里得度量。
• 引入一个以熵为驱动的准则，在没有目标标签的情况下选择正则化强度。
• 在标准域自适应基准测试中展示最先进的性能。

提出的方法

• 将相关对齐公式化为通过协方差矩阵在 SPD 流形上对齐二阶统计量。
• 将源-目标协方差之间的平方对数欧几里得测地距离作为对齐损失。
• 在一个 MECA 目标中将有监督源交叉熵与测地对齐损失结合。
• 提出一种以熵为基础、基于数据的方法，在无目标标签的情况下选择正则化权重。
• 证明一个理论联系，显示最优相关对齐意味着目标熵的最小值（定理1）。
• 提供与标准深度网络反向传播兼容的基于梯度的训练。

实验结果

研究问题

• RQ1 在无监督域自适应中，最优的协方差对齐是否隐式地最小化目标域熵？
• RQ2 测地 SPD 距离是否在协方差对齐中比欧几里得惩罚带来更好的对齐与目标？
• RQ3 基于熵的准则是否能够在没有目标标签的情况下有效选择超参数？
• RQ4 MECA 在标准基准上相对于最先进的无监督域自适应方法的表现如何？

主要发现

• 最优相关对齐使源交叉熵与目标熵之和最小化（定理1）。
• 在实践中，测地（对数欧几里得）SPD 距离优于用于协方差对齐的欧几里得惩罚。
• 通过无监督准则，目标端的熵可用于在无目标标签的情况下驱动超参数选择。
• 在标准基准上，MECA 与 DSN、DTN、GRL、ADDA、TRIPLE 以及 Deep CORAL 相比取得具有竞争力或更好的结果。
• MECA 在 SVHN→MNIST 和 NYUD 上明显优于 Deep CORAL，在 SYN→SVHN 上表现强劲。
• 在所报告的任务中，MECA（E + C）优于若干与熵相关及对齐的基线方法。