[论文解读] Learning to Optimize Domain Specific Normalization for Domain Generalization

Seonguk Seo, Yumin Suh+4 more|arXiv (Cornell University)|Jul 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 32

一句话总结

本文提出了一种新型的领域自适应方法——领域特定优化归一化（DSON），通过学习每个领域的特定仿射参数和混合权重，对批量归一化（BN）与实例归一化（IN）进行自适应组合，以提升模型的泛化能力。通过按领域动态结合不同类型的归一化，DSON在标准基准测试中实现了最先进（SoTA）的性能，包括在PACS数据集上达到85.11%的平均准确率，并在标签噪声下表现出强鲁棒性。

ABSTRACT

We propose a simple but effective multi-source domain generalization technique based on deep neural networks by incorporating optimized normalization layers that are specific to individual domains. Our approach employs multiple normalization methods while learning separate affine parameters per domain. For each domain, the activations are normalized by a weighted average of multiple normalization statistics. The normalization statistics are kept track of separately for each normalization type if necessary. Specifically, we employ batch and instance normalizations in our implementation to identify the best combination of these two normalization methods in each domain. The optimized normalization layers are effective to enhance the generalizability of the learned model. We demonstrate the state-of-the-art accuracy of our algorithm in the standard domain generalization benchmarks, as well as viability to further tasks such as multi-source domain adaptation and domain generalization in the presence of label noise.

研究动机与目标

• 为了解决在训练期间目标领域数据不可用时学习领域不变表示的挑战。
• 通过去除领域特定的风格而保留语义信息，提升模型在未见领域上的泛化能力。
• 设计一种深度学习架构，通过可学习的混合权重动态优化每个领域的归一化类型。
• 在标准基准测试中超越现有的归一化技术与领域自适应基线方法。
• 在标签噪声和多源领域自适应设置下验证方法的有效性。

提出的方法

• 该方法采用多源领域自适应框架，引入领域特定的归一化层，为每个领域分别维护批量归一化的统计量和仿射参数。
• 对于每个领域，激活值通过批量归一化（BN）和实例归一化（IN）统计量的加权平均进行归一化，其中权重在训练过程中学习得到。
• 混合权重按领域进行优化，使每个领域能够根据自身特性动态选择BN与IN的最佳平衡。
• 网络中所有其他参数（如卷积层）在各领域间共享，确保参数效率并促进领域不变特征的学习。
• 该方法通过DSON模块实现，将领域特定的归一化统计量和仿射参数集成到标准CNN主干网络中。
• 模型采用端到端训练，使用交叉熵损失，且混合权重具有可微性，支持基于梯度的优化。

实验结果

研究问题

• RQ1 学习领域特定的归一化参数是否能提升对未见领域的泛化能力？
• RQ2 使用可学习混合权重结合批量归一化与实例归一化，对领域自适应性能有何影响？
• RQ3 领域特定的混合权重是否优于领域无关或固定归一化策略？
• RQ4 该方法在标签噪声或多源领域自适应设置下的表现如何？
• RQ5 在真实世界基准中，每个领域最优的批量归一化与实例归一化平衡比是多少？

主要发现

• 在PACS数据集的多源领域自适应设置下，DSON实现了85.11%的最先进平均准确率，相比领域无关混合权重高出2.29个百分点。
• 在PACS数据集中，DSON在跨领域设置下准确率最高提升达20.36个百分点（例如，从艺术绘画到卡通的迁移中，准确率由48.74%提升至84.67%）。
• 在多源训练中，混合权重更倾向于实例归一化：PACS数据集为3:7（IN:BN），Office-Home数据集为1:9，表明对IN在领域不变性中的更高依赖。
• 与领域无关策略相比，领域特定的混合权重显著提升性能，在PACS数据集上平均准确率提升2.29%。
• DSON在标签噪声下保持强性能，并能良好泛化至无监督领域自适应设置，展现出优异的鲁棒性与通用性。
• 在单源领域分支中集成DSON可实现一致的性能提升，DSON（全部）在PACS数据集上的表现分别为：艺术绘画84.67%、卡通77.65%、素描82.23%、照片95.87%。