[论文解读] Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation

Hongliang Yan, Yukang Ding+4 more|arXiv (Cornell University)|May 1, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用 78

一句话总结

本文将类别权重偏差识别为无监督领域自适应中标准MMD的一个局限，并提出带有分类EM（CEM）方案的加权最大均值差异（WMMD），通过按类别重新加权源数据，从而实现WDAN模型，在多种CNN架构和数据集上提升域不变表示。

ABSTRACT

In domain adaptation, maximum mean discrepancy (MMD) has been widely adopted as a discrepancy metric between the distributions of source and target domains. However, existing MMD-based domain adaptation methods generally ignore the changes of class prior distributions, i.e., class weight bias across domains. This remains an open problem but ubiquitous for domain adaptation, which can be caused by changes in sample selection criteria and application scenarios. We show that MMD cannot account for class weight bias and results in degraded domain adaptation performance. To address this issue, a weighted MMD model is proposed in this paper. Specifically, we introduce class-specific auxiliary weights into the original MMD for exploiting the class prior probability on source and target domains, whose challenge lies in the fact that the class label in target domain is unavailable. To account for it, our proposed weighted MMD model is defined by introducing an auxiliary weight for each class in the source domain, and a classification EM algorithm is suggested by alternating between assigning the pseudo-labels, estimating auxiliary weights and updating model parameters. Extensive experiments demonstrate the superiority of our weighted MMD over conventional MMD for domain adaptation.

研究动机与目标

• 突出跨域的类别先验分布差异（类别权重偏差）如何降低基于MMD的DA性能。
• 引入WMMD，通过按类别对源数据重新加权，使其与目标类别先验对齐。
• 开发将WMMD整合到CNN中的WDAN框架，用于无监督领域自适应。
• 提供适用于小批量CNN训练的高效线性时间WMMD估计器。
• 在若干基准和架构上展示相较于标准MMD的DA方法的经验提升。

提出的方法

• 为源域和目标域定义带权重的分布，并将WMMD推导为一个带权重的均值嵌入差异（Eq. 8）。
• 引入每个源类别的辅助类别权重，并通过分类EM（CEM）过程估计它们，该过程在伪标签目标数据与更新权重之间交替（E步、C步、M步）。
• 将WMMD作为正则化项嵌入到更高的CNN层，得到一个带WMMD项的源/目标损失结合的WDAN目标函数（Eq. 11）。
• 提供一个无偏线性时间MMD近似（Eq. 4, 5），并将其适配为WMMD（Eq. 9, 10），以实现高效的梯度优化。
• 概述使用CEM的训练：计算目标后验、分配伪标签、更新辅助权重，并通过小批量SGD优化W（E步、C步、M步）。
• 在多种CNN（AlexNet、GoogLeNet、VGG-16）和数据集（Office-10+Caltech-10、ImageCLEF、Digit Recognition、Office-31）上对比基线验证WMMD对MMD基线的实验有效性。

实验结果

研究问题

• RQ1 跨域的类别权重偏差是否会降低基于MMD的无监督领域自适应的性能？
• RQ2 引入按类别的辅助权重和CEM训练方案是否能缓解类别权重偏差的影响？
• RQ3 所提出的基于WMMD的WDAN是否在多种CNN架构和基准上相较于传统MMD方法改善域不变表示和分类准确率？
• RQ4 WDAN在不同网络层和超参数（例如 lambda）以及不同程度的类别偏差下的表现如何？
• RQ5 WMMD的计算效率是否足以集成到端到端CNN训练中？

主要发现

• WMMD在多个DA基准和CNN架构上优于传统MMD，展示了对类别权重偏差的鲁棒性。
• 带WMMD的WDAN在Office-10+Caltech-10、ImageCLEF、Digit Recognition和Office-31上的平均准确率高于DAN及其他基线。
• 分类EM过程有效估计目标后验和辅助权重，使WDAN目标函数的优化更稳定。
• 无偏线性时间WMMD近似使其能够在小批量CNN训练中实现可扩展集成。
• 实证分析表明WDAN的提升对类别权重偏差鲁棒，并且依赖于WDAN目标中的合适平衡参数lambda。