[논문 리뷰] Adai: Separating the Effects of Adaptive Learning Rate and Momentum Inertia.

Zeke Xie, Xinrui Wang외 3명|arXiv (Cornell University)|2020. 06. 29.

Stochastic Gradient Optimization Techniques참고 문헌 68인용 수 7

한 줄 요약

이 논문은 Adam에서 적응형 학습률과 관성의 영향을 분리하여 분석하며, 적응형 학습률이 빠른 안장점 탈출을 가능하게 하지만 평탄한 최소점 선택에 악영향을 미친다는 점을 밝혀내고, 관성은 최소점 선호도를 왜곡하지 않고 탈출를 돕는다는 것을 밝힌다. 일반화를 향상시키기 위해 저자는 매개변수별 적응형 관성(Adaptive Inertia)을 사용하는 새로운 최적화 프레임워크를 제안하며, 이는 훈련을 가속화하고 SGD처럼 평탄한 최소점을 선호하여 실험 전반에서 Adam과 SGD를 모두 능가하는 일반화 성능을 보인다.

ABSTRACT

Adaptive Momentum Estimation (Adam), which combines Adaptive Learning Rate and Momentum, is the most popular stochastic optimizer for accelerating the training of deep neural networks. However, empirically Adam often generalizes worse than Stochastic Gradient Descent (SGD). We unveil the mystery of this behavior based on the diffusion theoretical framework. Specifically, we disentangle the effects of Adaptive Learning Rate and Momentum of the Adam dynamics on saddle-point escaping and minima selection. We prove that Adaptive Learning Rate can escape saddle points efficiently, but cannot select flat minima as SGD does. In contrast, Momentum provides a drift effect to help the training process pass through saddle points, and almost does not affect flat minima selection. This theoretically explains why SGD (with Momentum) generalizes better, while Adam generalizes worse but converges faster. Furthermore, motivated by the analysis, we design a novel adaptive optimization framework named Adaptive Inertia, which uses parameter-wise adaptive inertia to accelerate the training and provably favors flat minima as well as SGD. Our extensive experiments demonstrate that the proposed adaptive inertia method can generalize significantly better than SGD and conventional adaptive gradient methods.

연구 동기 및 목표

• Adam이 더 빠른 수렴에도 불구하고 SGD보다 일반화 성능이 열 劣하는 이유를 이해하기 위해.
• Adam의 역학에서 적응형 학습률과 관성의 상호작용을 분리하여 분석하기 위해.
• 이러한 구성요소들이 안장점 탈출 및 최소점 선택에 미치는 영향을 확산 이론을 사용하여 분석하기 위해.
• Adam의 빠른 수렴 특성을 유지하면서 일반화 성능을 향상시키는 새로운 최적화 프레임워크를 설계하기 위해.

제안 방법

• 저자는 확산 이론 프레임워크를 활용하여 Adam의 확률적 역학을 모델링하고, 적응형 학습률과 관성의 기여를 분해한다.
• 적응형 학습률이 안장점 탈출에 효과적임을 엄밀히 증명하며, 이는 SGD와 달리 평탄한 최소점을 선호하지 않는다는 점을 입증한다.
• 관성이 안장점 탈출에 도움이 되는 드리프트 효과를 제공하지만 평탄한 최소점 선호도에 미치는 영향은 미미하다는 것을 보여준다.
• 이 분석을 바탕으로 저자는 매개변수별 적응형 관성을 사용하는 새로운 적응형 최적화 프레임워크인 Adaptive Inertia를 제안한다.
• 이 방법은 매개변수별로 동적으로 관성을 조정하는 새로운 업데이트 규칙을 도입하여 빠른 수렴과 일반화 사이의 균형을 이룬다.
• 이론적 분석을 통해 Adaptive Inertia가 SGD와 유사하게 평탄한 최소점을 선호함을 증명한다.

실험 결과

연구 질문

• RQ1 Adam의 적응형 학습률과 관성이 안장점 탈출 및 최소점 선호도에 각각 어떤 영향을 미치는가?
• RQ2 Adam이 더 빠른 수렴에도 불구하고 SGD보다 일반화 성능이 열 劣하는 이유는 무엇인가?
• RQ3 적응형 학습률이 최소점 선호도에 악영향을 미치는 영향을 수렴 속도를 잃지 않고 보완할 수 있는가?
• RQ4 Adam의 빠른 수렴 특성과 SGD의 일반화 성능을 결합한 새로운 최적화 프레임워크를 설계할 수 있는가?

주요 결과

• 적응형 학습률은 안장점 탈출에 효과적이지만, 평탄한 최소점을 선호하지는 않으며, 이는 SGD와 다름.
• 관성은 드리프트 효과를 통해 안장점 탈출에 기여하지만 평탄한 최소점 선호도에 거의 영향을 주지 않는다.
• Adam에서 적응형 학습률과 관성의 조합은 최적의 최소점 선호도가 아니므로 일반화 성능이 열 劣한다.
• 제안된 방법인 Adaptive Inertia는 SGD와 유사하게 평탄한 최소점을 선호함을 엄밀히 증명하며, 同시에 빠른 수렴 속도를 유지한다.
• 광범위한 실험을 통해 Adaptive Inertia가 SGD와 기존의 적응형 경량 방법보다 일반화 성능이 뛰어나다는 것이 입증되었다.
• 확산 이론에 기반한 이론적 분석은 Adam의 일반화 갭을 체계적으로 이해하는 데 기여한다.