[논문 리뷰] AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks

Swalpa Kumar Roy, Mercedes E. Paoletti외 5명|arXiv (Cornell University)|2021. 05. 21.

Advanced Neural Network ApplicationsComputer Science참고 문헌 55인용 수 21

한 줄 요약

이 논문은 군집된 경사하강법의 각도 정보를 활용하여 수렴성을 향상시키는 새로운 최적화 기법인 AngularGrad를 소개한다. 연속된 경사 벡터 간의 각도 정보를 활용해 단계 크기 조정에 경사 방향 역학을 통합함으로써, AngularGrad는 더 부드러운 최적화를 달성하고 기준 데이터셋에서 최신 기법들을 능가한다. 이는 Adam과 동일한 이론적 수렴 보장을 갖는다.

ABSTRACT

Convolutional neural networks (CNNs) are trained using stochastic gradient descent (SGD)-based optimizers. Recently, the adaptive moment estimation (Adam) optimizer has become very popular due to its adaptive momentum, which tackles the dying gradient problem of SGD. Nevertheless, existing optimizers are still unable to exploit the optimization curvature information efficiently. This paper proposes a new AngularGrad optimizer that considers the behavior of the direction/angle of consecutive gradients. This is the first attempt in the literature to exploit the gradient angular information apart from its magnitude. The proposed AngularGrad generates a score to control the step size based on the gradient angular information of previous iterations. Thus, the optimization steps become smoother as a more accurate step size of immediate past gradients is captured through the angular information. Two variants of AngularGrad are developed based on the use of Tangent or Cosine functions for computing the gradient angular information. Theoretically, AngularGrad exhibits the same regret bound as Adam for convergence purposes. Nevertheless, extensive experiments conducted on benchmark data sets against state-of-the-art methods reveal a superior performance of AngularGrad. The source code will be made publicly available at: https://github.com/mhaut/AngularGrad.

연구 동기 및 목표

• 기존 최적화 기법이 군집도와 경사 방향 정보를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 연속된 경사 간의 각도를 분석하여 딥러닝에서 최적화의 부드러움과 수렴 속도를 향상시키기 위해.
• 크기 외에 경사의 방향적 행동을 포착하는 새로운 최적화 기법을 개발하여 학습 안정성과 성능을 향상시키기 위해.
• Adam과 동등한 이론적 수렴 경계를 제공하면서도 우수한 경험적 성능을 달성하기 위해.
• 재현 가능성과 딥러닝 연구 분야에서의 광범위한 채택을 위해 방법을 공개하기 위해.

제안 방법

• AngularGrad는 연속된 경사 벡터 간의 각도를 기반으로 점수를 계산하여 단계 크기를 조절한다.
• 과거 경사 간의 탄젠트 또는余弦을 사용해 방향 일관성의 척도로 삼는다.
• 이 각도 점수를 활용해 동적으로 학습률을 조정함으로써 단계 크기의 정확도를 향상시킨다.
• 두 가지 변형이 제안되며, 각각 AngularGrad-Tan과 AngularGrad-Cos로, 사용된 각도 함수가 다르다.
• 최적화 과정에서 각도 정보를 업데이트 규칙에 통합하면서도 적응형 모멘타움 메커니즘을 유지한다.
• 이론적 분석을 통해 AngularGrad가 Adam과 동일한 위험 경계를 확보함을 확인하여 수렴 보장을 보장한다.

실험 결과

연구 질문

• RQ1 경사의 각도 정보는 딥 네트워크에서 최적화의 안정성과 수렴성을 향상시킬 수 있는가?
• RQ2 경사 간의 방향 역학을 통합하면 크기만 고려하는 최적화 기법보다 더 나은 일반화와 더 빠른 수렴을 이룰 수 있는가?
• RQ3 표준 기준 데이터셋에서 AngularGrad는 Adam과 SGD에 비해 학습 정확도와 손실 감소 측면에서 어떻게 비교되는가?
• RQ4 경사 각도에 기반한 이론적으로 탄탄한 최적화 기법이 최신 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 다양한 CNN 아키텍처와 데이터셋에 대해 강건한가?

주요 결과

• CIFAR-10과 ImageNet을 포함한 여러 기준 데이터셋에서 AngularGrad는 Adam과 SGD보다 뛰어난 테스트 정확도를 달성한다.
• 경사 방향에 기반한 개선된 단계 크기 조정 덕분에 더 빠른 수렴과 더 부드러운 학습 곡선을 보였다.
• AngularGrad-Tan과 AngularGrad-Cos 모두 기준 최적화 기법을 능가했으며, 한 변형은 더 깊은 네트워크에서 특히 유리한 성능을 보였다.
• 이론적 분석을 통해 AngularGrad가 Adam과 동일한 위험 경계를 유지함을 확인하여 표준 가정 하에서 수렴 보장을 보장한다.
• 광범위한 아블레이션 연구를 통해 크기만 고려하거나 무작위 방향 전략보다 각도 정보의 효과가 뛰어나다는 것을 입증했다.
• 소스 코드가 공개되어 재현 가능성과 기존 딥러닝 파ip라인에의 통합을 가능하게 하였다.