[논문 리뷰] Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum

Zeke Xie, Xinrui Wang외 3명|arXiv (Cornell University)|2020. 06. 29.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 Adam에서 적응형 학습률과 관성의 영향을 분리하여 분석하며, 적응형 학습률이 안장점 탈출을 가속화하지만 날카로운 최소값을 선호하고, 관성은 탈출에 기여하면서 최소값 선택에 거의 영향을 주지 않는다는 것을 보여준다. 일반화를 향상시키기 위해 저자는 매개변수별로 관성 값을 적응적으로 조정하는 새로운 최적화기 Adaptive Inertia(Adai)를 제안한다. 이는 평탄한 최소값을 유리하게 작용시키며, 수렴 속도를 유지하면서 Adam과 SGD를 모두 능가하는 일반화 성능을 보인다.

ABSTRACT

Adaptive Moment Estimation (Adam), which combines Adaptive Learning Rate and Momentum, would be the most popular stochastic optimizer for accelerating the training of deep neural networks. However, it is empirically known that Adam often generalizes worse than Stochastic Gradient Descent (SGD). The purpose of this paper is to unveil the mystery of this behavior in the diffusion theoretical framework. Specifically, we disentangle the effects of Adaptive Learning Rate and Momentum of the Adam dynamics on saddle-point escaping and flat minima selection. We prove that Adaptive Learning Rate can escape saddle points efficiently, but cannot select flat minima as SGD does. In contrast, Momentum provides a drift effect to help the training process pass through saddle points, and almost does not affect flat minima selection. This partly explains why SGD (with Momentum) generalizes better, while Adam generalizes worse but converges faster. Furthermore, motivated by the analysis, we design a novel adaptive optimization framework named Adaptive Inertia, which uses parameter-wise adaptive inertia to accelerate the training and provably favors flat minima as well as SGD. Our extensive experiments demonstrate that the proposed adaptive inertia method can generalize significantly better than SGD and conventional adaptive gradient methods.

연구 동기 및 목표

• Adam이 SGD보다 수렴 속도가 빠른 이유는 무엇이며, 특히 최소값 선택과 안장점 탈출 측면에서 왜 일반화 성능이 열 劣한지 이해하기 위해.
• 확산 이론을 사용하여 Adam의 역학에서 적응형 학습률과 관성의 상이한 역할을 분리하기 위해.
• Adam이 수렴 속도는 빠르지만 SGD보다 더 날카로운 최소값을 찾는다는 경험적 관찰을 설명하기 위해.
• Adam의 수렴 속도를 유지하면서 평탄한 최소값을 선호함으로써 일반화 성능을 향상시키는 새로운 최적화 프레임워크를 설계하기 위해.
• Adaptive Inertia(Adai)가 안장점에서 신속히 탈출하고 평탄한 최소값을 선택함을 이론적·실험적으로 검증하여 SGD의 일반화 성능에 도달하거나 이를 초월함을 보여주기 위해.

제안 방법

• 저자는 최적화를 연속 시간 랑주반 과정으로 간주하여, 확산 프레임워크에서 Stochastic Differential Equation(SDE)를 사용해 Adam의 역학을 모델링한다.
• Adam을 두 구성요소로 분해한다: 적응형 학습률(비등방성 확산으로 모델링)과 관성(드리프트 항으로 모델링)으로, 각각이 안장점 탈출과 최소값 선택에 미치는 영향을 분석한다.
• Fokker-Planck 방정식과 확산 행렬 분석을 사용하여, 적응형 학습률이 빠른 안장점 탈출을 가능하게 하지만 평탄한 최소값을 선호하지는 않으며, 관성은 탈출에 기여하는 드리프트 효과를 제공하지만 최소값의 날카움에 거의 영향을 주지 않는다는 것을 증명한다.
• 이 분석을 바탕으로, 매개변수별로 적응형 관성(관성)을 사용하는 Adaptive Inertia(Adai)를 제안한다. 이는 기울기 크기의 이동 평균에 기반해 관성 계수를 조정한다.
• Adai는 시간에 따라 변하는, 매개변수별로 특화된 관성 항을 갖는 수정된 관성 업데이트로 구성되며, 최적화 역학의 뉴턴 운동 유사성에서 유도된다.
• 안정적이고 분리된 가중치 감쇠 변형(AdaiS/AdaiW)을 통해 구현되어 표준 훈련 관행과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 Adam의 적응형 학습률과 관성이 안장점 탈출과 평탄한 최소값 선택에 각각 어떤 영향을 미치는가?
• RQ2 Adam은 왜 SGD보다 수렴 속도는 빠르지만 일반화 성능은 열 劣한가? 尽管 SGD의 일반화 성능이 뛰어나다.
• RQ3 Adam의 역학을 분리하여 적응형 학습률과 관성이 최적화 행동에 기여하는 바를 분리할 수 있는가?
• RQ4 빠른 수렴(적응형 학습률에서 유래)과 좋은 일반화(평탄한 최소값 선택에서 기인)를 동시에 확보하는 새로운 최적화 프레임워크를 설계할 수 있는가?
• RQ5 매개변수별로 적응형 관성 메커니즘(Adaptive Inertia)이 평탄한 최소값을 유리하게 작용시키며 동시에 빠른 안장점 탈출을 유지하는가를 증명할 수 있는가?

주요 결과

• 적응형 학습률은 안장점에서의 신속한 탈출을 가능하게 하지만 평탄한 최소값을 선호하지는 않으며, 이는 Adam이 SGD보다 더 날카로운 최소값을 찾는 이유를 설명한다.
• 관성은 탈출에 기여하는 드리프트 효과를 제공하지만 최소값의 날카로움에 대한 영향은 극히 미미하다.
• Adaptive Inertia(Adai)는 안장점에서 빠르게 탈출하고 평탄한 최소값을 선택하며, SGD의 일반화 행동을 재현한다.
• 광범위한 실험 결과에 따르면, ResNet과 Vision Transformer 아키텍처를 사용한 CIFAR-10, CIFAR-100, ImageNet에서 Adai는 Adam과 SGD 모두보다 일반화 성능이 뚜렷이 뛰어나다.
• 기대 최소값의 날카로움 분석 결과, Adai와 SGD는 Adam보다 더 평탄한 최소값을 학습함을 확인하였으며, Adai는 가중치 편향에 대해 뛰어난 내성성을 보였다.
• Adai는 SGD보다 수렴 속도가 더 빠르며, 일반화 성능은 동일하거나 이를 초월한다. 다양한 벤치마크에서 테스트 정확도에서 Adam을 능가한다.