[论文解读] Learning to Match Distributions for Domain Adaptation

Chaohui Yu, Jindong Wang+6 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 6

一句话总结

本文提出 Learning to Match (L2M)，一种数据驱动的域自适应框架，通过元网络自动学习分布匹配损失，消除了对人工设计的距离度量（如 MMD 或对抗损失）的依赖。L2M 统一了任务无关特征与人工设计特征，已在公开数据集上实现最先进性能，并在跨域 COVID-19 X光分类任务中表现优异，同时在 MNIST 图像生成任务中也取得了改进效果。

ABSTRACT

When the training and test data are from different distributions, domain adaptation is needed to reduce dataset bias to improve the model's generalization ability. Since it is difficult to directly match the cross-domain joint distributions, existing methods tend to reduce the marginal or conditional distribution divergence using predefined distances such as MMD and adversarial-based discrepancies. However, it remains challenging to determine which method is suitable for a given application since they are built with certain priors or bias. Thus they may fail to uncover the underlying relationship between transferable features and joint distributions. This paper proposes Learning to Match (L2M) to automatically learn the cross-domain distribution matching without relying on hand-crafted priors on the matching loss. Instead, L2M reduces the inductive bias by using a meta-network to learn the distribution matching loss in a data-driven way. L2M is a general framework that unifies task-independent and human-designed matching features. We design a novel optimization algorithm for this challenging objective with self-supervised label propagation. Experiments on public datasets substantiate the superiority of L2M over SOTA methods. Moreover, we apply L2M to transfer from pneumonia to COVID-19 chest X-ray images with remarkable performance. L2M can also be extended in other distribution matching applications where we show in a trial experiment that L2M generates more realistic and sharper MNIST samples.

研究动机与目标

• 解决现有域自适应方法依赖人工设计、存在偏见的分布匹配损失（如 MMD 或对抗距离）的局限性。
• 通过端到端地从数据中学习损失函数，减少分布匹配中的归纳偏置，使用元网络实现。
• 在单一、可泛化的框架中统一深度特征与人工设计特征（如 MMD、对抗损失）。
• 在低资源、类别不平衡及真实世界场景（如医学影像，例如从肺炎 X 光到 COVID-19 X 光）中实现鲁棒的域自适应。
• 将该框架扩展至其他分布匹配应用，包括生成建模。

提出的方法

• L2M 使用元网络（多层感知机）以数据驱动方式学习分布匹配损失，充当通用函数逼近器。
• 该框架将任务无关特征（如深度特征）与人工设计特征（如 MMD、对抗差异）同时作为元网络的输入。
• 提出一种新颖的自监督标签传播策略，用于在缺乏目标域标签的情况下生成并更新元数据，以训练元网络。
• 提出一种在线优化算法，实现 L2M 的高效训练，即使在缺乏目标标签的情况下也能保持稳定且准确的性能。
• 使用结合元学习匹配损失与标准分类损失和域对齐目标的损失函数进行模型训练。
• 通过将 GMMN 中的标准 MMD 损失替换为 L2M 匹配损失，将该框架扩展至图像生成任务，从而提升了生成样本的质量。

实验结果

研究问题

• RQ1 数据驱动的、元学习的损失函数是否能在域自适应中超越预定义的分布匹配损失（如 MMD 或对抗距离）？
• RQ2 与依赖固定先验的现有方法相比，L2M 在多大程度上减少了归纳偏置？
• RQ3 L2M 在多样化的域偏移场景中，尤其是在类别不平衡或数据稀缺场景（如医学影像）中，泛化能力如何？
• RQ4 L2M 是否能有效迁移至其他分布匹配任务（如图像生成）？
• RQ5 所学习的匹配损失是否能提升条件生成中样本的清晰度与真实性？

主要发现

• L2M 在公开的域自适应基准测试中实现了最先进性能，优于 DANN、MCD 和 CDAN+TransNorm 等方法。
• 在从肺炎 X 光到 COVID-19 X 光的迁移任务中，L2M 的 F1 得分为 74.0%，显著优于 CDAN+TransNorm（63.7%）和 DANN（66.2%）。
• 在类别不平衡设置下，L2M 展现出强鲁棒性，F1 得分为 74.0%，而 MCD 为 61.5%，DANN 为 66.2%。
• 消融实验证明，结合多种匹配特征（如嵌入 + MMD 或对数几率 + 对抗损失）可获得最佳性能，其中 L2M（logit+mmd）达到 74.0% F1。
• 在图像生成任务中，L2M 生成的 MNIST 样本比标准 MMD 基于的 GMMN 更清晰、更逼真，这一结论得到了定性样本的验证。
• 该框架具备良好的泛化能力，可扩展至半监督设置，表明其在未来此类场景中具有潜在应用价值。