[논문 리뷰] Does Adam optimizer keep close to the optimal point?

Kiwook Bae, Heechang Ryu외 1명|arXiv (Cornell University)|2019. 11. 01.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 18

한 줄 요약

이 논문은 효과적 학습률이 작은 2차 모멘텀 추정치로 인해 너무 커질 경우, Adam이 한점 볼록 영역에서 최적점 근처에 머무르지 못함을 보여준다. 이를 해결하기 위해 저자들은 AdaFix를 제안하며, 2차 모멘텀 추정치가 안정화되면 이를 고정함으로써 최적해 근처에서 수렴성과 안정성을 확보한다. 이는 MNIST 및 CIFAR-10에서 Adam 및 기타 적응형 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The adaptive optimizer for training neural networks has continually evolved to overcome the limitations of the previously proposed adaptive methods. Recent studies have found the rare counterexamples that Adam cannot converge to the optimal point. Those counterexamples reveal the distortion of Adam due to a small second momentum from a small gradient. Unlike previous studies, we show Adam cannot keep closer to the optimal point for not only the counterexamples but also a general convex region when the effective learning rate exceeds the certain bound. Subsequently, we propose an algorithm that overcomes Adam's limitation and ensures that it can reach and stay at the optimal point region.

연구 동기 및 목표

• Adam이 일부 경우에 수렴함에도 불구하고 최적점 근처에 머무르지 못하는 이유를 규명하는 것.
• 최적 해가 국소적으로 볼록한 한점 볼록 영역에서 Adam의 불안정성을 분석하는 것.
• 최적 영역에서의 발산을 방지하기 위한 2차 모멘텀 추정치에 대한 이론적 한계를 도출하는 것.
• 최적점 근처에서 수렴성과 안정성을 보장하는 새로운 적응형 최적화기 AdaFix를 설계하는 것.
• 표준 비전 벤치마크에서 AdaFix가 Adam, AMSGrad, AdaBound보다 뛰어나다는 것을 검증하는 것.

제안 방법

• 저자들은 기울기가 항상 최적점 향해 일관되게 향하는 한점 볼록성 가정 하에서 Adam의 행동을 분석한다.
• 효과적 학습률 $\eta / \sqrt{\hat{v}_t}$가 너무 커지지 않도록 2차 모멘텀 추정치 $\hat{v}_t$에 대한 이론적 한계를 유도한다.
• AdaFix는 $\hat{v}_t$가 안정적이고 충분히 작은 값을 도달하면 이를 고정함으로써 작은 기울기로 인한 폭발적 학습률을 방지한다.
• 학습 경로 동안 기울기 차이와 매개변수 갱신의 비율을 사용하여 L-스무쓰니스 상수 $L$을 근사한다.
• 고정된 $\hat{v}_t$는 안정적인 효과적 학습률을 유지하여 발산과 과소적합을 모두 방지한다.
• AdaFix는 여러 아키텍처를 사용해 MNIST 및 CIFAR-10에서 Adam, AMSGrad, AdaBound, SGDM과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 Adam은 한점 볼록 영역에서 최적점에 도달했더라도 그 근처에 머물 수 있는가?
• RQ2 이론적으로 수렴함에도 불구하고 Adam이 최적 영역에서 발산하는 원인은 무엇인가?
• RQ3 Adam이 최적 영역에서 벗어나지 않도록 방지하기 위한 2차 모멘텀 추정치에 대한 이론적 한계는 무엇인가?
• RQ4 최적점 근처에서 수렴성과 안정성을 보장하기 위해 적응형 학습률을 어떻게 안정화할 수 있는가?
• RQ5 수정된 적응형 최적화기는 표준 비전 벤치마크에서 Adam 및 그 변종보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• AdaFix는 두 층의 MLP를 사용해 MNIST에서 테스트 정확도 98.75% ± 0.02를 달성했으며, Adam(98.70% ± 0.03)을 능가한다.
• 데이터 증강 없이 CIFAR-10에서 AdaFix는 DenseNet53에서 90.25% ± 0.19를 기록했으며, Adam(90.07% ± 0.04)을 뛰어넘었다.
• 데이터 증강을 적용한 경우, AdaFix는 DenseNet53에서 93.51% ± 0.17를 달성했으며, SGDM 및 기타 적응형 방법과 동등하거나 이를 초월했다.
• 그림 2는 Adam의 $||v||_2$가 매우 작아져 폭발적인 효과적 학습률과 진동하는 테스트 정확도를 유도하는 반면, AdaFix는 학습률을 안정화함을 보여준다.
• AMSGrad는 학습률 폭발을 방지하지만 너무 작은 효과적 학습률을 야기하는 반면, AdaFix는 안정성과 효율성을 균형 있게 유지한다.
• 이론적 분석 결과, $\delta \ll L$일 경우 효과적 학습률 한계는 약 $L\eta$로 간소화되며, 이는 $\hat{v}_t$가 안정화되면 이를 고정해야 한다는 것을 정당화한다.