[论文解读] Moment Matching for Multi-Source Domain Adaptation

Xingchao Peng, Qinxun Bai+4 more|arXiv (Cornell University)|Dec 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用 48

一句话总结

引入 M3SDA，一种用于将知识从多个带标签的源域传递到无标签目标域的时刻匹配方法，并提供一个大型 DomainNet 多源域自适应数据集。

ABSTRACT

Conventional unsupervised domain adaptation (UDA) assumes that training data are sampled from a single domain. This neglects the more practical scenario where training data are collected from multiple sources, requiring multi-source domain adaptation. We make three major contributions towards addressing this problem. First, we collect and annotate by far the largest UDA dataset, called DomainNet, which contains six domains and about 0.6 million images distributed among 345 categories, addressing the gap in data availability for multi-source UDA research. Second, we propose a new deep learning approach, Moment Matching for Multi-Source Domain Adaptation M3SDA, which aims to transfer knowledge learned from multiple labeled source domains to an unlabeled target domain by dynamically aligning moments of their feature distributions. Third, we provide new theoretical insights specifically for moment matching approaches in both single and multiple source domain adaptation. Extensive experiments are conducted to demonstrate the power of our new dataset in benchmarking state-of-the-art multi-source domain adaptation methods, as well as the advantage of our proposed model. Dataset and Code are available at \url{http://ai.bu.edu/M3SDA/}.

研究动机与目标

• 将多源域自适应（MSDA）作为无监督领域自适应的实际扩展进行动机说明。
• 提供一个六个域、345个类别的大规模 MSDA 基准数据集（DomainNet）。
• 提出一个深度学习模型（M3SDA），使所有源域和目标域之间的分布时刻对齐。
• 为 MSDA 和单源设置中的基于时刻的领域发散提供理论见解。
• 在多个基准上展示 M3SDA 相对于最先进基线的经验改进。

提出的方法

• 定义一个 moment distance MD^2，衡量所有源域和目标域之间的一阶和二阶矩的差异（方程 1）。
• 训练一个特征提取器 G 和 N 个分类器（每个源域一个）以最小化源损失加上 D_S 与 D_T 之间的加权时刻匹配项（方程 2）。
• 引入 M3SDA-β，通过采用分类器对和一种受 discrepancy 基方法启发的三步训练程序来对齐 p(y|x) 和 p(x)（方程 3 和 4）。
• 使用一个 ensemble/测试方案（M3SDA*）通过对分类器输出取平均或基于源目标接近度（acc_i）计算权重向量来形成加权集成。
• 给出一个理论界限（定理 1），表明目标误差取决于每个源和目标之间的跨矩不等式 d_CM^k。

实验结果

研究问题

• RQ1 将多源域与目标域对齐的时刻是否能提升 MSDA 在与单源或其他 MSDA 方法相比的性能？
• RQ2 在像 DomainNet 这样的大规模多域数据集以及 Office-Caltech10 等标准基准上，基于时刻的 MSDA 的表现如何？
• RQ3 可以为 MSDA 中的基于时刻的方法提供哪些理论保证，它们与源-目标和源-源的发散有何关系？
• RQ4 通过 M3SDA-β 使源域之间彼此对齐，是否相比标准 M3SDA 在 MSDA 任务中带来实质性收益？

主要发现

• 在数字数据和 Office-Caltech10 基准上，M3SDA 和 M3SDA-β 相较基线取得显著提升（例如平均准确率超过竞争方法）。
• 在 Digits 上，M3SDA 实现了 86.13% 的平均准确率，M3SDA-β 实现了 87.65%，超过若干基线。
• 在 Office-Caltech10 上，M3SDA 实现了 96.1% 的平均准确率，M3SDA-β 达到 96.4%。
• 在 DomainNet 上，M3SDA 和 M3SDA-β 展示出在 30 个源-目标组合和多种基线中的竞争性表现，体现了数据集的挑战性和该方法的有效性。
• 理论分析将跨矩发散扩展到 MSDA，将目标误差与源和目标之间的基于时刻的差异联系起来。