[논문 리뷰] A Qualitative Study of the Dynamic Behavior for Adaptive Gradient Algorithms

Chao Ma, Lei Wu외 1명|arXiv (Cornell University)|2020. 09. 14.

Neural Networks and Applications참고 문헌 16인용 수 7

한 줄 요약

이 논문은 수치 실험과 이론적 분석을 통해 적응형 경사 하강 알고리즘, 특히 RMSprop와 Adam의 동적 행동을 조사한다. 세 가지 핵심 현상—빠른 초기 수렴, 진동, 후기 단계의 큰 피크—를 규명하고, 특히 고정밀 과학 계산 작업에서 학습 손실를 일반적인 머신러닝 기준을 초월해 최소화해야 하는 상황에서, 동적 모멘텀 파rameter β₁과 β₂가 가까울수록 Adam의 안정성이 크게 향상됨을 보여준다.

ABSTRACT

The dynamic behavior of RMSprop and Adam algorithms is studied through a combination of careful numerical experiments and theoretical explanations. Three types of qualitative features are observed in the training loss curve: fast initial convergence, oscillations, and large spikes in the late phase. The sign gradient descent (signGD) flow, which is the limit of Adam when taking the learning rate to 0 while keeping the momentum parameters fixed, is used to explain the fast initial convergence. For the late phase of Adam, three different types of qualitative patterns are observed depending on the choice of the hyper-parameters: oscillations, spikes, and divergence. In particular, Adam converges much smoother and even faster when the values of the two momentum factors are close to each other. This observation is particularly important for scientific computing tasks, for which the training process usually proceeds into the high precision regime.

연구 동기 및 목표

• 완전 배치 설정에서 Adam과 RMSprop와 같은 적응형 경사 하강 알고리즘의 비단조화적 학습 동역학을 이해하기 위해.
• Adam과 RMSprop에서 관찰되는 빠른 초기 수렴과 후기 단계의 불안정성, 예를 들어 손실 함수의 진동과 큰 피크의 기원을 설명하기 위해.
• 특히 동적 모멘텀 요소 β₁과 β₂와 같은 초모수 선택이 Adam의 안정성과 수렴 행동에 미치는 영향을 조사하기 위해.
• β₁ ≈ β₂일 때 성능 향상이 이론적이고 경험적으로 어떻게 설명될 수 있는지, 특히 고정밀 해법이 필요한 과학 계산 응용 분야에서의 적용을 위해.
• 기본 초모수(예: β₁=0.9, β₂=0.999)가 분류 작업에서는 잘 작동하더라도, 회귀 및 PDE 해석 작업에서는 불안정한 학습을 유도할 수 있음을 보여주기 위해.

제안 방법

• 분류(CIFAR-10)와 회귀 작업(Poisson 방정식 해석)을 모두 포함한 완전 배치 학습에서 체계적인 수치 실험을 수행함.
• 학습률 → 0일 때 고정된 동적 모멘텀 파rameter 조건에서 Adam의 극한으로서의 부호 경사 하강( signGD ) 흐름을 분석하여, 빠른 초기 수렴의 이론적 근거를 제공함.
• RMSprop와 Adam의 정적점에서의 극한 행동을 유도하고 분석하여, 진동 또는 피크가 발생하는 조건을 규명함.
• 상태공간 분석을 통해 (β₁, β₂) 쌍에 기반한 Adam 행동의 세 가지 영역—피크 영역, 진동 영역, 발산 영역—으로 분류함.
• 신경망을 사용하여 PDE를 푸는 데 Deep Galerkin Method(DGM)를 활용하고, 다양한 초모수를 가진 Adam을 사용하여 학습 안정성과 수렴 속도 평가함.
• 실제 손실 곡선과 테스트 오차의 동역학을 사용하여, 특히 후기 단계 행동에 중점을 두고 다양한 초모수 설정 간의 학습 행동을 비교함.

실험 결과

연구 질문

• RQ1 왜 Adam과 같은 적응형 경사 하강 알고리즘이 빠른 초기 수렴을 보이다가 학습 후기 단계에서 진동과 큰 피크를 보이는가?
• RQ2 Adam과 RMSprop에서 관찰되는 빠른 초기 수렴의 이론적 메커니즘은 무엇인가?
• RQ3 동적 모멘텀 초모수 β₁과 β₂는 고정밀 과학 계산 작업에서 Adam의 안정성과 수렴 패턴에 어떻게 영향을 미치는가?
• RQ4 Adam이 학습 중에 진동, 피크형, 또는 발산 행동를 보일 조건은 무엇인가?
• RQ5 기본 초모수(β₁=0.9, β₂=0.999)는 회귀 및 PDE 해석 작업에서 최적일 수 없으며, 만약 그렇다면 어떤 대안이 더 안정적인 학습을 이끌 수 있는가?

주요 결과

• Adam은 학습률이 0에 수렴할 때 고정된 동적 모멘텀 파rameter 조건에서 부호 경사 하강(signGD) 흐름으로 수렴함으로써 빠른 초기 수렴을 보인다.
• 부호 경사 하강(signGD) 흐름은 Polyak-Lojasiewicz(PL) 조건을 만족하는 목적 함수에 대해 유한 시간 내 수렴을 보임이 증명되며, 이는 Adam에서의 빠른 초기 진전을 설명한다.
• Adam의 후기 단계에서 발생하는 큰 손실 피크는 정적점에서의 알고리즘적 불안정성 때문이며, 특히 β₁과 β₂가 서로 떨어져 있을 경우에 더 심각하게 나타난다.
• β₁ ≈ β₂일 경우, Adam 학습은 훨씬 더 안정해지고 더 빠르게 수렴하며, 특히 고정밀 회귀 및 PDE 해석 작업에서 진동과 큰 피크가 최소화된다.
• 경험적 결과로는, 기본 초모수(β₁=0.9, β₂=0.999)를 사용한 Adam이 과학 계산 작업에서 손실 곡선에 큰 피크를 유도하는 반면, β₁ ≈ β₂(예: β₁=β₂=0.1)로 설정할 경우 더 부드럽고 빠른 수렴을 보임을 확인함.
• Adam의 학습 동역학은 세 영역으로 분류되며, β₁ < β₂일 경우 피크 영역, β₁ ≈ β₂일 경우 진동 영역, β₁ > β₂일 경우 발산 영역으로 나뉘며, 고정밀 학습에 있어 진동 영역이 가장 유리하다.