[论文解读] Adversarially Adaptive Normalization for Single Domain Generalization

Xinjie Fan, Qifei Wang+4 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 9

一句话总结

本文提出了一种新型归一化技术——自适应标准化与重标度归一化（ASR-Norm），通过神经网络学习特征图的领域自适应统计量。当与对抗性领域增强（ADA）结合时，ASR-Norm 在未见领域上实现了泛化性能的提升，在 Digits、CIFAR-10-C 和 PACS 基准测试中分别实现了平均 1.6%、2.7% 和 6.3% 的性能增益，且性能提升与 ADA 方法的选择无关。

ABSTRACT

Single domain generalization aims to learn a model that performs well on many unseen domains with only one domain data for training. Existing works focus on studying the adversarial domain augmentation (ADA) to improve the model's generalization capability. The impact on domain generalization of the statistics of normalization layers is still underinvestigated. In this paper, we propose a generic normalization approach, adaptive standardization and rescaling normalization (ASR-Norm), to complement the missing part in previous works. ASR-Norm learns both the standardization and rescaling statistics via neural networks. This new form of normalization can be viewed as a generic form of the traditional normalizations. When trained with ADA, the statistics in ASR-Norm are learned to be adaptive to the data coming from different domains, and hence improves the model generalization performance across domains, especially on the target domain with large discrepancy from the source domain. The experimental results show that ASR-Norm can bring consistent improvement to the state-of-the-art ADA approaches by 1.6%, 2.7%, and 6.3% averagely on the Digits, CIFAR-10-C, and PACS benchmarks, respectively. As a generic tool, the improvement introduced by ASR-Norm is agnostic to the choice of ADA methods.

研究动机与目标

• 解决批量归一化（BN）在单领域泛化中因训练与测试统计量之间存在领域偏移而导致的局限性。
• 在仅有一个源领域可用于训练的情况下，提升模型在多样化未见领域上的泛化能力。
• 开发一种通用的归一化方法，可与现有的对抗性领域增强（ADA）技术协同使用。
• 通过学习自适应归一化统计量，克服 BN 和 BN-Test 在高领域差异下的不稳定性和性能下降问题。
• 通过端到端可微的归一化方法，实现对输入特定统计量的自适应，从而实现鲁棒的、领域不变的特征学习。

提出的方法

• 提出 ASR-Norm，一种归一化层，通过独立的神经网络学习标准化（均值）和重标度（方差）统计量。
• 使用自编码器结构的网络，从输入特征中预测领域自适应的归一化参数。
• 引入残差连接以稳定训练，并为学习到的统计量设置可学习权重。
• 在 ADA 框架内端到端训练 ASR-Norm，以优化对领域偏移的鲁棒性。
• 将归一化形式化为可微操作，结合输入相关统计量与残差学习。
• 通过调整学习到的统计量，使 ASR-Norm 可泛化为 BN、IN、LN、GN 和 SN 的特例。

实验结果

研究问题

• RQ1 可学习的归一化层是否能在高领域偏移条件下提升单领域泛化中的性能？
• RQ2 学习自适应归一化统计量是否优于批量归一化所采用的固定统计量？
• RQ3 当领域差异增大时，ASR-Norm 在不同层次的领域偏移下表现如何，尤其在高差异场景下？
• RQ4 ASR-Norm 是否可作为即插即用模块，与多种 ADA 方法配合使用而无需修改网络架构？
• RQ5 在增加 ASR-Norm 层数量和隐藏维度时，模型复杂度与性能之间的权衡如何？

主要发现

• 在 Digits、CIFAR-10-C 和 PACS 基准测试中，ASR-Norm 分别将最先进的 ADA 方法平均提升 1.6%、2.7% 和 6.3%。
• 在 PACS 数据集上，当 $C_{\text{stan}} = C/16$ 时，将 ASR-Norm 应用于所有归一化层，仅增加 4.1% 的参数量，准确率即提升至 66.5%。
• 当 $C_{\text{stan}}$ 增加至 $C/2$ 时，准确率达到 68.1%，参数量增加 16.4%，表现出次线性的性能增益。
• 在高噪声 CIFAR-10-C 基准测试中，ASR-Norm 表现优于 BN 和 IN，尤其在领域差异增大时优势更明显。
• 在对抗性攻击下，ASR-Norm 达到 52.2% 的准确率，显著优于 BN（32.0%）和 IN（46.9%），展现出更强的鲁棒性。
• 残差学习组件至关重要——若无该组件，训练将变得不稳定并产生 NaN 值。