[论文解读] MixStyle Neural Networks for Domain Generalization and Adaptation

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|Jul 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用 15

一句话总结

MixStyle 提出了一种简单、即插即用、无需参数的模块，通过在训练过程中混合随机样本之间的特征统计量（均值和标准差），提升了域泛化能力。通过利用图像风格与特征统计量之间的关联，该方法高效地合成新型域用于数据增强，在不修改训练目标或模型容量的前提下，显著提升了视觉任务在分布外数据上的泛化性能。

ABSTRACT

Neural networks do not generalize well to unseen data with domain shifts -- a longstanding problem in machine learning and AI. To overcome the problem, we propose MixStyle, a simple plug-and-play, parameter-free module that can improve domain generalization performance without the need to collect more data or increase model capacity. The design of MixStyle is simple: it mixes the feature statistics of two random instances in a single forward pass during training. The idea is grounded by the finding from recent style transfer research that feature statistics capture image style information, which essentially defines visual domains. Therefore, mixing feature statistics can be seen as an efficient way to synthesize new domains in the feature space, thus achieving data augmentation. MixStyle is easy to implement with a few lines of code, does not require modification to training objectives, and can fit a variety of learning paradigms including supervised domain generalization, semi-supervised domain generalization, and unsupervised domain adaptation. Our experiments show that MixStyle can significantly boost out-of-distribution generalization performance across a wide range of tasks including image recognition, instance retrieval and reinforcement learning.

研究动机与目标

• 为解决神经网络在域偏移下出现的分布外泛化能力差的问题。
• 开发一种数据增强方法，以提升域泛化能力，且无需额外数据或增加模型容量。
• 创建一种即插即用、与架构无关的模块，适用于监督、半监督和无监督域泛化设置。
• 建立视觉域偏移与浅层卷积神经网络层中实例级特征统计量之间的联系。

提出的方法

• MixStyle 在一次前向传播中，将两个随机采样的训练实例的特征图均值和标准差进行混合。
• 通过使用 Beta 分布采样一个凸权重 λ，控制两个实例统计量之间的插值。
• 该方法被应用于多个浅层卷积层，以有效捕捉风格变化，且无需修改网络架构或训练目标。
• 引入了一种半监督扩展，通过混合有标签样本与伪标签样本的统计量，以处理部分标注数据。
• 该方法兼容小批量训练，仅需几行代码即可实现。
• 通过统计混合隐式学习域不变表示，模拟出多样化的视觉风格。

实验结果

研究问题

• RQ1 在随机实例之间混合特征统计量是否能提升对未见域的泛化能力？
• RQ2 MixStyle 在不同学习范式（包括监督、半监督和无监督域泛化）下的表现如何？
• RQ3 MixStyle 的性能是否依赖于超参数（如 Beta 分布的 α）的选择？
• RQ4 MixStyle 是否能在提升对未见域泛化能力的同时，也改善源域上的性能？
• RQ5 与几何变换相比，MixStyle 在处理与颜色、纹理和光照相关的域偏移时效果如何？

主要发现

• MixStyle 在图像识别、行人重识别和强化学习任务中均显著提升了分布外泛化性能。
• 在 PACS 数据集上，当 α=0.1 时，MixStyle 将测试准确率提升至 82.8%，优于标准 ERM 和其他域泛化基线方法。
• 该方法在源域上的性能保持不变或略有提升，表明对已见域性能无负面影响。
• 消融实验表明，同一类别内部的混合无效，证实跨类别风格混合对域泛化至关重要。
• 性能对 α 的选择相对不敏感，α=0.1 在多个任务中均提供了稳健的默认设置。
• MixStyle 具有强大的可迁移性，已被成功应用于医学影像、三维点云处理和语音识别等多种应用中。