[论文解读] Gradient Centralization: A New Optimization Technique for Deep Neural Networks

Hongwei Yong, Jianqiang Huang+2 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Neural Network Applications参考文献 51被引用 32

一句话总结

梯度中心化（GC）将梯度向量中心化为零均值，以正则化权重和输出，在 CNNs 和视觉任务中提升训练效率和泛化能力。

ABSTRACT

Optimization techniques are of great importance to effectively and efficiently train a deep neural network (DNN). It has been shown that using the first and second order statistics (e.g., mean and variance) to perform Z-score standardization on network activations or weight vectors, such as batch normalization (BN) and weight standardization (WS), can improve the training performance. Different from these existing methods that mostly operate on activations or weights, we present a new optimization technique, namely gradient centralization (GC), which operates directly on gradients by centralizing the gradient vectors to have zero mean. GC can be viewed as a projected gradient descent method with a constrained loss function. We show that GC can regularize both the weight space and output feature space so that it can boost the generalization performance of DNNs. Moreover, GC improves the Lipschitzness of the loss function and its gradient so that the training process becomes more efficient and stable. GC is very simple to implement and can be easily embedded into existing gradient based DNN optimizers with only one line of code. It can also be directly used to fine-tune the pre-trained DNNs. Our experiments on various applications, including general image classification, fine-grained image classification, detection and segmentation, demonstrate that GC can consistently improve the performance of DNN learning. The code of GC can be found at https://github.com/Yonghongwei/Gradient-Centralization.

研究动机与目标

• 推动一种简单的基于梯度的优化技术，能够提升 DNN 的训练效率和泛化能力。
• 引入 GC 运算符，可以对接到现有优化器，开销极小。
• 从理论上分析 GC 作为约束优化的表现及其对权重空间和输出特征空间的影响。
• 在通用图像分类、细粒度分类、检测和分割任务中展示 GC 的有效性。

提出的方法

• 定义 GC 运算符为 Phi_GC(∇_W L) = ∇_W L − μ_{∇_W L}（或 Φ_GC(∇_{w_i} L) = ∇_{w_i} L − μ_{∇_{w_i} L}）以中心化梯度向量。
• 表明 GC 相当于将梯度投影到法向量为 e 的超平面上，有效地约束权重更新。
• 通过用 Φ_GC(∇L) 替换梯度，在 SGDM 和 Adam 中只需一行代码即可将 GC 嵌入。
• 提供理论见解：GC 提升损失和梯度的 Lipschitz 性，减小梯度范数，并同时作为权重空间和输出特征空间的正则化。
• 讨论与权重衰减和微调预训练模型的兼容性。

实验结果

研究问题

• RQ1 将梯度中心化为零均值是否能提升 DNN 的优化稳定性和泛化能力？
• RQ2 GC 是否能够在不增加额外超参数的情况下，与常见优化器（SGDM、Adam）以及各种架构有效集成？
• RQ3 GC 对损失景观和梯度行为的理论影响是什么？
• RQ4 GC 是否在包括分类、检测、分割，以及微调阶段的各种任务中具有益处？

主要发现

• GC 在图像分类、检测和分割基准上持续加速训练并提升泛化能力。
• GC 能与多种优化器（SGDM、Adam、Adagrad、SGDW、AdamW）和各种架构协同工作，包括 ResNet、DenseNet、VGG 等。
• GC 提供改进的损失和梯度的 Lipschitz 性质，带来更平滑的优化景观和更稳定的训练。
• GC 降低梯度范数和最大梯度值，有助于训练稳定性和更快收敛。
• GC 提高了对四个细粒度数据集的微调结果，在对预训练模型应用时观察到精度提升。
• GC 与像 BN 和 GN 等归一化方法结合时，在 ImageNet 和 COCO 任务中表现出可衡量的改进。