[论文解读] Learning to Learn Single Domain Generalization

Fengchun Qiao, L. Zhao+1 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用 8

一句话总结

该论文提出M-ADA，一种基于元学习的对抗性域增强方法，用于单域泛化，其中仅有一个源域可用于训练。通过对抗性训练生成具有挑战性的、分布外的“虚构”域，并利用Wasserstein自编码器放松最坏情况约束，M-ADA实现了对多个未见域的鲁棒泛化，在CIFAR-10-C和SYNTHIA等基准上取得了最先进性能，相较于先前方法在泛化能力和效率方面均有提升。

ABSTRACT

We are concerned with a worst-case scenario in model generalization, in the sense that a model aims to perform well on many unseen domains while there is only one single domain available for training. We propose a new method named adversarial domain augmentation to solve this Out-of-Distribution (OOD) generalization problem. The key idea is to leverage adversarial training to create "fictitious" yet "challenging" populations, from which a model can learn to generalize with theoretical guarantees. To facilitate fast and desirable domain augmentation, we cast the model training in a meta-learning scheme and use a Wasserstein Auto-Encoder (WAE) to relax the widely used worst-case constraint. Detailed theoretical analysis is provided to testify our formulation, while extensive experiments on multiple benchmark datasets indicate its superior performance in tackling single domain generalization.

研究动机与目标

• 解决仅有一个源域可用于训练时，模型在多个未见域上泛化的挑战。
• 克服现有域泛化与域自适应方法的局限性，这些方法需要多个源域或目标域数据。
• 开发一种方法，生成多样化、分布外的“虚构”域，以提升模型鲁棒性与泛化能力，且不依赖真实目标数据。
• 通过元学习框架实现高效可扩展的训练，避免集成模型并降低计算开销。
• 为所提出的公式提供理论依据，特别是利用Wasserstein自编码器放松最坏情况约束。

提出的方法

• 提出对抗性域增强（ADA），通过生成与源域分布不同的合成挑战性域，模拟分布偏移。
• 利用Wasserstein自编码器（WAE）放松域泛化中的严格最坏情况约束，鼓励输入空间中出现大范围域偏移，同时保持语义一致性。
• 将训练过程形式化为元学习问题，模型通过双层优化过程快速适应多个虚构域。
• 使用元学习器优化模型参数，使模型在广泛分布的对抗生成域上具有良好泛化能力。
• 在元学习框架中集成对抗训练，生成能最大化域偏移但保持语义合理性的扰动。
• 端到端训练模型，结合源域数据与对抗生成域，目标是最小化所有虚构域上的最坏情况风险。

实验结果

研究问题

• RQ1 在仅使用一个源域进行训练的情况下，模型能否有效泛化到多个未见的、分布外的目标域？
• RQ2 如何利用对抗训练生成真实但具有挑战性的“虚构”域，以实现域泛化，且无需真实目标数据？
• RQ3 利用基于WAE的正则化放松域泛化中的最坏情况约束会产生何种影响？
• RQ4 与集成模型或迭代微调方法相比，元学习能否提升单域泛化的效率与泛化性能？
• RQ5 所提出方法在单域泛化与少样本域自适应设置中，相较于现有最先进方法，性能提升程度如何？

主要发现

• 在CIFAR-10-C基准上，M-ADA取得最先进性能，平均损坏误差（mCE）为65.59，相对mCE（RmCE）为0.82，优于GUD和ERM等先前方法。
• 在SYNTHIA语义分割基准上，M-ADA在从一个源域泛化到多个未见环境时，平均mIoU达到55.98%，超越FADA和CCSA等现有方法。
• 在MNIST、USPS和SVHN上的少样本域自适应中，M-ADA取得具有竞争力的准确率（例如在MNIST→SVHN 7-shot设置下准确率达79.52%），优于无监督基线方法，展现出强大的迁移能力。
• 该方法表现出更强鲁棒性，M-ADA在SYNTHIA的Highway/Dawn设置下平均准确率达22.33%，高于ERM的18.70%和GUD的19.66%。
• 消融实验证实，基于WAE的最坏情况约束松弛可提升泛化能力并减少训练不稳定性，而元学习则实现了更快的适应速度与更少的迭代次数。
• 模型在CIFAR-10-C中各类损坏下泛化能力出色，M-ADA在损坏级别5下对“Fog”达到69.36%准确率，对“Snow”达到80.62%，表明其具备强大鲁棒性。