[论文解读] An Empirical Study of Batch Normalization and Group Normalization in Conditional Computation

Vincent Michalski, Vikram Voleti+5 more|arXiv (Cornell University)|Jul 31, 2019

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文研究了条件组归一化（CGN）作为条件批归一化（CBN）在条件计算任务中的替代方案。结果表明，由于其与批量大小无关且统计特性一致，CGN在视觉问答和少样本学习中提升了泛化能力，但在条件图像生成任务中表现不如CBN，因为CBN的批量统计信息提供了更强的归纳偏置。

ABSTRACT

Batch normalization has been widely used to improve optimization in deep neural networks. While the uncertainty in batch statistics can act as a regularizer, using these dataset statistics specific to the training set impairs generalization in certain tasks. Recently, alternative methods for normalizing feature activations in neural networks have been proposed. Among them, group normalization has been shown to yield similar, in some domains even superior performance to batch normalization. All these methods utilize a learned affine transformation after the normalization operation to increase representational power. Methods used in conditional computation define the parameters of these transformations as learnable functions of conditioning information. In this work, we study whether and where the conditional formulation of group normalization can improve generalization compared to conditional batch normalization. We evaluate performances on the tasks of visual question answering, few-shot learning, and conditional image generation.

研究动机与目标

• 评估条件组归一化（CGN）在条件计算中是否能超越条件批归一化（CBN）的泛化能力。
• 探究归一化方法的选择对模型性能的影响，涵盖视觉问答、少样本学习和条件图像生成等多种任务。
• 评估批量统计量及其变异性对泛化的影响，特别是在分布偏移或小批量设置下。
• 确定CGN更简单的、与批量大小无关的统计量是否在系统性泛化任务中具有优势。

提出的方法

• 提出条件组归一化（CGN），通过输入上下文条件化组归一化参数，以组统计量替代CBN的批量统计量。
• 采用将通道划分为G组的组归一化方法，在空间和通道维度内独立归一化，且不依赖批量大小。
• 在WGAN-GP生成器网络的残差块中应用CGN与CBN，用于条件图像生成；同时在视觉问答和少样本学习模型中应用。
• 使用标准评估指标：图像生成任务中采用Inception Score（IS）、Fréchet Inception Distance（FID）和Classification Accuracy Score（CAS）；视觉问答和少样本任务中采用准确率。
• 通过多次随机种子的消融实验并取平均结果，确保结果的稳健性。
• 在不同任务中比较性能，以隔离归一化类型的影响，同时控制网络架构与超参数。

实验结果

研究问题

• RQ1 在视觉问答任务中，CGN是否在泛化能力上优于CBN？
• RQ2 在需要系统性泛化的少样本学习场景中，CGN与CBN相比表现如何？
• RQ3 在小批量设置下，CGN能否在条件图像生成任务中实现与CBN相当或更优的性能？
• RQ4 CBN在分布偏移或批量大小变化下性能如何退化？CGN是否能缓解此问题？
• RQ5 批量统计量的噪声（具有正则化作用）对泛化的影响是什么？CGN是否可通过其他方式补偿此缺失？

主要发现

• 在视觉问答任务中，CGN在强调系统性泛化的任务中优于CBN，表明其对分布偏移更具鲁棒性。
• 在少样本学习中，CGN持续优于CBN，表明其在低数据设置下具有更好的泛化能力。
• 在使用WGAN-GP的条件图像生成任务中，CBN显著优于CGN，FID分别为22.5和25.3，IS分别为8.5和8.1，表明CBN生成的样本质量更高且多样性更优。
• Classification Accuracy Score（CAS）证实，CBN生成的数据更接近真实数据分布，CBN的CAS为78.2%，而CGN为73.1%。
• CGN在训练和推理过程中表现出一致行为，无批量大小依赖性；而CBN对批量大小和分布偏移敏感。
• 尽管CGN在架构上更简单且更具鲁棒性，但其缺乏CBN中已知具有正则化作用的批量统计量噪声，可能是其在生成任务中表现欠佳的原因。