[論文レビュー] Gradient Centralization: A New Optimization Technique for Deep Neural Networks

Hongwei Yong, Jianqiang Huang+2 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Neural Network Applications参考文献 51被引用数 32

ひとこと要約

Gradient Centralization (GC) は勾配ベクトルを平均ゼロに中央化して重みと出力を正則化し、CNN とビジョンタスク全体で学習効率と一般化性能を向上させます。

ABSTRACT

Optimization techniques are of great importance to effectively and efficiently train a deep neural network (DNN). It has been shown that using the first and second order statistics (e.g., mean and variance) to perform Z-score standardization on network activations or weight vectors, such as batch normalization (BN) and weight standardization (WS), can improve the training performance. Different from these existing methods that mostly operate on activations or weights, we present a new optimization technique, namely gradient centralization (GC), which operates directly on gradients by centralizing the gradient vectors to have zero mean. GC can be viewed as a projected gradient descent method with a constrained loss function. We show that GC can regularize both the weight space and output feature space so that it can boost the generalization performance of DNNs. Moreover, GC improves the Lipschitzness of the loss function and its gradient so that the training process becomes more efficient and stable. GC is very simple to implement and can be easily embedded into existing gradient based DNN optimizers with only one line of code. It can also be directly used to fine-tune the pre-trained DNNs. Our experiments on various applications, including general image classification, fine-grained image classification, detection and segmentation, demonstrate that GC can consistently improve the performance of DNN learning. The code of GC can be found at https://github.com/Yonghongwei/Gradient-Centralization.

研究の動機と目的

• DNN の学習効率と一般化を改善できる、単純な勾配ベースの最適化手法を提案する。
• 勾配を中央化する GC 演算子を導入し、最小限のオーバーヘッドで既存のオプティマイザに組み込めるようにする。
• GC を制約付き最適化として理論的に分析し、重み空間と出力特徴空間への影響を考察する。
• 一般的な画像分類、細分類、検出、セグメンテーションのタスクで GC の有効性を実証する。

提案手法

• 勾配ベクトルを中央化する GC 演算子を Phi_GC(∇_W L) = ∇_W L − μ_{∇_W L} （または Φ_GC(∇_{w_i} L) = ∇_{w_i} L − μ_{∇_{w_i} L}）として定義する。
• GC が法線ベクトル e を持つ超平面への勾配の射影に対応し、重み更新を実質的に制約することを示す。
• 勾配を Φ_GC(∇L) に置換するだけの一行コードで SGDM と Adam に GC を組み込む。
• 理論的知見を提供する： GC は損失と勾配のリプシッツ性を改善し、勾配ノルムを縮小し、重み空間と出力特徴空間の正則化の双方として機能する。
• 重量減衰（ウェイトデケイ）との互換性と事前学習モデルのファインチューニングについて考察する。

実験結果

リサーチクエスチョン

• RQ1 勾配を平均ゼロに中央化することは、DNN における最適化の安定性と一般化を改善するか？
• RQ2 GC は追加のハイパーパラメータなしで、一般的なオプティマイザ（SGDM、Adam）やさまざまなアーキテクチャと効果的に統合できるか？
• RQ3 GC が損失関数の景観と勾配の挙動に与える理論的影響は何か？
• RQ4 GC は分類、検出、セグメンテーションを含む幅広いタスクやファインチューニング時にも有益か？

主な発見

• GC は画像分類、検出、セグメンテーションのベンチマークで一貫して学習を加速し、一般化を改善します。
• GC は複数のオプティマイザ（SGDM、Adam、Adagrad、SGDW、AdamW）とさまざまなアーキテクチャ（ResNet、DenseNet、VGG など）で機能します。
• GC は損失と勾配のリプシッツ性を改善し、より滑らかな最適化景観と安定した学習をもたらします。
• GC は勾配ノルムと最大勾配値を低減し、学習の安定性と収束の速さに寄与します。
• 前学習済みモデルに適用した場合、4つの細分類データセットでファインチューニングの成績向上を示します。
• BN や GN のような正規化手法と組み合わせた場合、ImageNet および COCO タスクで測定可能な改善をもたらします。