[论文解读] Rethinking Normalization and Elimination Singularity in Neural Networks

Siyuan Qiao, Huiyu Wang+3 more|arXiv (Cornell University)|Nov 21, 2019

Neural Networks and Applications参考文献 46被引用 8

一句话总结

本文提出了一种新型归一化方法——批量-通道归一化（BCN），该方法结合批量统计与通道统计，以防止深度神经网络接近消除奇异点——即损失曲面中会损害训练的退化点。BCN通过使模型远离这些奇异点，在图像分类、目标检测和分割任务中均提升了性能，尤其在标准通道归一化方法失效的大批量和微批量训练设置中表现更优。

ABSTRACT

In this paper, we study normalization methods for neural networks from the perspective of elimination singularity. Elimination singularities correspond to the points on the training trajectory where neurons become consistently deactivated. They cause degenerate manifolds in the loss landscape which will slow down training and harm model performances. We show that channel-based normalizations (e.g. Layer Normalization and Group Normalization) are unable to guarantee a far distance from elimination singularities, in contrast with Batch Normalization which by design avoids models from getting too close to them. To address this issue, we propose BatchChannel Normalization (BCN), which uses batch knowledge to avoid the elimination singularities in the training of channel-normalized models. Unlike Batch Normalization, BCN is able to run in both large-batch and micro-batch training settings. The effectiveness of BCN is verified on many tasks, including image classification, object detection, instance segmentation, and semantic segmentation. The code is here: https://github.com/joe-siyuan-qiao/Batch-Channel-Normalization.

研究动机与目标

• 研究归一化方法如何影响深度神经网络与消除奇异点之间的距离，这些奇异点会降低模型性能。
• 阐明为何基于通道的归一化方法（如层归一化和组归一化）无法维持与这些奇异点的安全距离。
• 开发一种利用批量知识来改进通道归一化模型在大规模和微批量训练中鲁棒性与性能的归一化方法。
• 在包括图像分类和实例分割在内的多样化视觉基准上验证所提方法的有效性。
• 通过将归一化与损失曲面中的奇异点规避联系起来，为归一化提供新的理论与实证理解。

提出的方法

• BCN结合批量归一化统计与通道归一化，以防止模型接近消除奇异点。
• 首先在批量维度上应用批量均值与标准差归一化，然后在每个通道组内进行通道归一化。
• 该方法使用可学习参数 γ 和 β 的仿射变换对归一化后的特征进行缩放与偏移，与标准归一化层类似。
• BCN被设计为兼容大规模和微批量训练，克服了标准批量归一化的一个关键限制。
• 归一化以复合函数形式应用：先计算批量统计，再在每组内应用通道统计，最后进行仿射变换。
• 与BCN配合使用权重标准化，可进一步提升性能，尤其在与基于通道的归一化结合时效果更显著。

实验结果

研究问题

• RQ1 批量归一化是否能有效使模型远离消除奇异点？若是，原因是什么？
• RQ2 为何基于通道的归一化方法（如层归一化和组归一化）无法维持与消除奇异点的安全距离？
• RQ3 能否有效将批量知识整合到通道归一化模型中，以提升其鲁棒性与性能？
• RQ4 是否可能设计一种在大规模和微批量训练设置中均表现良好的归一化方法？
• RQ5 不同归一化技术下，模型与消除奇异点之间的距离与模型性能之间有何相关性？

主要发现

• 批量归一化能有效维持模型远离消除奇异点，这解释了其在训练稳定性和性能方面的优异表现。
• 层归一化和组归一化无法保证与消除奇异点的安全距离，且层归一化的表现劣于组归一化。
• 权重标准化通过将模型推离奇异点，提升了层归一化和组归一化的性能，解释了其在实践中产生积极影响的原因。
• 所提出的批量-通道归一化（BCN）能有效防止模型接近消除奇异点，即使在标准归一化方法性能下降的微批量设置中亦然。
• BCN在多个视觉任务中均优于基线归一化方法，包括ImageNet分类、PASCAL VOC检测和MS COCO实例分割。
• BCN在大规模和微批量训练中均实现了稳定的性能提升，展现出其在不同训练设置下的鲁棒性与泛化能力。