[논문 리뷰] Gradient Centralization: A New Optimization Technique for Deep Neural Networks

Hongwei Yong, Jianqiang Huang외 2명|arXiv (Cornell University)|2020. 04. 03.

Advanced Neural Network Applications참고 문헌 51인용 수 32

한 줄 요약

Gradient Centralization (GC)은 기울기 벡터를 영평균으로 중앙집중화하여 가중치와 출력을 규칙화하고, CNN 및 비전 과제 전반에서 학습 효율성과 일반화 성능을 향상시킵니다.

ABSTRACT

Optimization techniques are of great importance to effectively and efficiently train a deep neural network (DNN). It has been shown that using the first and second order statistics (e.g., mean and variance) to perform Z-score standardization on network activations or weight vectors, such as batch normalization (BN) and weight standardization (WS), can improve the training performance. Different from these existing methods that mostly operate on activations or weights, we present a new optimization technique, namely gradient centralization (GC), which operates directly on gradients by centralizing the gradient vectors to have zero mean. GC can be viewed as a projected gradient descent method with a constrained loss function. We show that GC can regularize both the weight space and output feature space so that it can boost the generalization performance of DNNs. Moreover, GC improves the Lipschitzness of the loss function and its gradient so that the training process becomes more efficient and stable. GC is very simple to implement and can be easily embedded into existing gradient based DNN optimizers with only one line of code. It can also be directly used to fine-tune the pre-trained DNNs. Our experiments on various applications, including general image classification, fine-grained image classification, detection and segmentation, demonstrate that GC can consistently improve the performance of DNN learning. The code of GC can be found at https://github.com/Yonghongwei/Gradient-Centralization.

연구 동기 및 목표

• DNN의 학습 효율성과 일반화를 개선할 수 있는 간단한 그래디언트 기반 최적화 기법의 동기를 제시한다.
• 그래디언트를 중앙집중화하는 GC 연산자를 도입하고, 기존 최적화기에 최소한의 오버헤드로 plug-in 가능하게 한다.
• 제한 최적화로서 GC를 이론적으로 분석하고, 가중치 공간과 출력 피처 공간에 미치는 영향을 평가한다.
• 일반적인 이미지 분류, 미세한 분류, 탐지 및 세분화 과제에서 GC의 효과를 입증한다.

제안 방법

• 그래디언트 벡터를 중앙집중화하기 위해 GC 연산자를 다음과 같이 정의한다: Phi_GC(∇_W L) = ∇_W L − μ_{∇_W L} (or Φ_GC(∇_{w_i} L) = ∇_{w_i} L − μ_{∇_{w_i} L}).
• GC가 정상 벡터 e를 가진 초평면으로 그래디언트를 투사하는 것에 해당하며, 실제로 가중치 업데이트를 제약한다는 것을 보인다.
• 그라디언트를 Φ_GC(∇L)로 대체하는 한 줄의 코드로 SGDM과 Adam에 GC를 내재화한다.
• 이론적 통찰을 제공한다: GC는 손실과 그래디언트의 Lipschitz성을 향상시키고, 그래디언트 노름을 감소시키며, 가중치 공간 및 출력 피처 공간 정규화 모두의 역할을 한다.
• 가중치 감소(weight decay) 및 사전 학습 모델의 미세 조정과의 호환성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 그래디언트를 영평균으로 중앙집중화하는 것이 DNN에서 최적화 안정성 및 일반화를 향상시키는가?
• RQ2 GC가 추가 하이퍼파라미터 없이 일반적인 최적화 기계(SGDM, Adam)와 다양한 아키텍처에 효과적으로 통합될 수 있는가?
• RQ3 GC가 손실 지형과 그래디언트 동작에 미치는 이론적 시사점은 무엇인가?
• RQ4 분류, 탐지, 세분화를 포함한 다양한 작업과 미세 조정 과정을 포함하여 GC가 이로운가?

주요 결과

• GC는 이미지 분류, 탐지, 세분화 벤치마크 전반에서 일관되게 학습 속도를 높이고 일반화를 향상시킨다.
• GC는 SGDM, Adam, Adagrad, SGDW, AdamW 등 여러 최적화 기법과 ResNet, DenseNet, VGG 등을 포함한 다양한 아키텍처에서 작동한다.
• GC는 손실과 그래디언트의 Lipschitz 특성을 향상시켜 더 매끄러운 최적화 지형과 더 안정적인 학습을 이끈다.
• GC는 그래디언트 노름과 최대 그래디언트 값을 감소시켜 학습 안정성과 더 빠른 수렴에 기여한다.
• 사전 학습된 모델에 적용했을 때 특히 네 가지 미세 분류 데이터셋에서 파인튜닝 성능이 개선되며 정확도 향상이 보고된다.
• BN, GN과 같은 정규화 기법과 결합했을 때 ImageNet 및 COCO 작업에서 측정 가능한 개선을 보인다.