[论文解读] Deep Adversarial Attention Alignment for Unsupervised Domain Adaptation: the Benefit of Target Expectation Maximization

Guoliang Kang, Liang Zheng+2 more|arXiv (Cornell University)|Jan 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用 15

一句话总结

该论文提出了一种新颖的无监督域自适应方法，通过基于CycleGAN的图像翻译，在源域和目标域网络的所有卷积层之间对齐注意力图，同时采用改进的期望最大化框架，通过类别分布估计来优化伪标签。该方法在Office-31数据集上相比最先进方法实现了+2.6%的准确率提升，通过在特征层面减少域偏移并缓解伪标签中的误差累积，显著提升了性能。

ABSTRACT

In this paper, we make two contributions to unsupervised domain adaptation (UDA) using the convolutional neural network (CNN). First, our approach transfers knowledge in all the convolutional layers through attention alignment. Most previous methods align high-level representations, e.g., activations of the fully connected (FC) layers. In these methods, however, the convolutional layers which underpin critical low-level domain knowledge cannot be updated directly towards reducing domain discrepancy. Specifically, we assume that the discriminative regions in an image are relatively invariant to image style changes. Based on this assumption, we propose an attention alignment scheme on all the target convolutional layers to uncover the knowledge shared by the source domain. Second, we estimate the posterior label distribution of the unlabeled data for target network training. Previous methods, which iteratively update the pseudo labels by the target network and refine the target network by the updated pseudo labels, are vulnerable to label estimation errors. Instead, our approach uses category distribution to calculate the cross-entropy loss for training, thereby ameliorating the error accumulation of the estimated labels. The two contributions allow our approach to outperform the state-of-the-art methods by +2.6% on the Office-31 dataset.

研究动机与目标

• 通过在所有卷积层而非仅高层特征上对齐注意力图，解决无监督域自适应中的域偏移问题。
• 通过建模未标记目标数据的后验标签分布而非依赖迭代标签优化，减少伪标签中的误差累积。
• 通过利用CycleGAN在域之间建立图像到图像的对应关系，实现注意力对齐，从而提升域自适应性能。
• 证明在卷积层级别进行注意力对齐与基于分布的标签估计可协同提升模型在目标域上的泛化能力。

提出的方法

• 使用CycleGAN将真实源域图像翻译为合成目标域图像，反之亦然，建立跨域图像对应关系。
• 在每个卷积层上计算源域与目标域网络注意力图之间的L2距离损失，以最小化域差异。
• 在真实数据和来自两个域的合成数据上联合训练目标网络，其中源域数据使用真实标签，目标域数据使用类别分布作为监督信号。
• 实现改进的期望最大化过程：在E步中，模型估计未标记目标数据的类别分布；在M步中，基于这些分布使用交叉熵损失更新网络。
• 通过联合优化注意力对齐损失与分类损失，将对抗训练与注意力对齐相结合。
• 采用多阶段训练策略，逐步在所有卷积层上应用注意力对齐，以稳定训练并提升特征不变性。

实验结果

研究问题

• RQ1 在所有卷积层而非仅高层特征上对齐注意力图，是否能带来更好的域自适应性能？
• RQ2 通过期望最大化方法建模未标记目标数据的后验标签分布，是否能相比迭代伪标签优化更有效地减少误差累积？
• RQ3 基于CycleGAN的图像翻译在建立有意义的跨域对应关系以支持注意力对齐方面，效果如何？
• RQ4 注意力对齐与基于分布的标签优化在提升自适应准确率方面，各自的相对贡献是什么？
• RQ5 与MMD及其他注意力差异度量方法相比，该方法在捕捉域不变表示方面表现如何？

主要发现

• 所提方法在Office-31数据集上相比最先进方法实现+2.6%的准确率提升，证明了其优越的域自适应性能。
• 对抗性注意力对齐在困难迁移任务D→A上提升+2.0%，在W→A上提升+1.7%，表明其对域偏移具有强正则化能力。
• 注意力对齐损失显著降低了源域与目标域注意力图之间的差异，可视化结果表明其对齐效果优于仅使用真实标签目标数据训练的模型。
• 消融实验表明，L2距离作为注意力差异度量优于L1、MMD与JMMD，因其能更好地保留结构信息并避免噪声引起的性能退化。
• 消融研究证实，注意力对齐与基于EM的标签优化均具有显著贡献，其中噪声过滤是最具影响力的组件。
• 在真实和合成数据均来自两个域的模型上训练的模型，其准确率高于仅在真实和合成目标数据上训练的模型，验证了源域知识迁移的有效性。