[논문 리뷰] Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration

Congliang Chen, Li Shen외 2명|arXiv (Cornell University)|2021. 01. 14.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 15

한 줄 요약

이 논문은 비볼록 확률적 최적화에서 Adam 최적화기의 전역 수렴을 위한 간단하고 확인하기 쉬운 충분조건을 제안하며, 기존에 알려진 발산 문제를 해결한다. 또한 미니배치 및 분산형 Adam에서 선형 속도 향상을 입증하여 배치 크기 또는 노드 수가 클수록 수렴 성능이 향상됨을 보이며, 실제 데이터셋을 통한 실험으로 검증된다.

ABSTRACT

Adam is one of the most influential adaptive stochastic algorithms for training deep neural networks, which has been pointed out to be divergent even in the simple convex setting via a few simple counterexamples. Many attempts, such as decreasing an adaptive learning rate, adopting a big batch size, incorporating a temporal decorrelation technique, seeking an analogous surrogate, extit{etc.}, have been tried to promote Adam-type algorithms to converge. In contrast with existing approaches, we introduce an alternative easy-to-check sufficient condition, which merely depends on the parameters of the base learning rate and combinations of historical second-order moments, to guarantee the global convergence of generic Adam for solving large-scale non-convex stochastic optimization. This observation, coupled with this sufficient condition, gives much deeper interpretations on the divergence of Adam. On the other hand, in practice, mini-Adam and distributed-Adam are widely used without any theoretical guarantee. We further give an analysis on how the batch size or the number of nodes in the distributed system affects the convergence of Adam, which theoretically shows that mini-batch and distributed Adam can be linearly accelerated by using a larger mini-batch size or a larger number of nodes.At last, we apply the generic Adam and mini-batch Adam with the sufficient condition for solving the counterexample and training several neural networks on various real-world datasets. Experimental results are exactly in accord with our theoretical analysis.

연구 동기 및 목표

• 비볼록 최적화에서 기존에 알려진 Adam의 발산 문제를 해결하기 위해 전역 수렴을 보장하는 단순하고 확인 가능한 충분조건을 규명하는 것.
• 기존에 수렴 보장이 없었던 실용적 미니배치 및 분산형 Adam의 이론적 근거를 제공하는 것.
• 파라미터 서버 모델 하에서 미니배치 및 분산형 Adam의 선형 속도 향상 성질을 확립하는 것.
• 실제 신경망 학습 작업을 대상으로 한 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 기본 학습률과 이전의 두 번째 순서 모멘텀 조합에만 의존하는 일반적인 Adam에 대한 전역 수렴을 위한 충분조건을 도입한다.
• 보완된 분석 기법을 사용하여 이 조건 하에서 일반적인 Adam의 수렴 속도를 유도하며, 이전 연구 대비 더 깔끔한 경계를 도출한다.
• 파라미터 서버 모델 하에서 미니배치 Adam과 분산형 Adam을 분석하여 배치 크기 및 노드 수에 대해 선형 속도 향상을 증명한다.
• 기울기의 노름을 제한하기 위해 새로운 부등식 기법을 활용하여 더 날카로운 수렴 속도 유도를 가능하게 한다.
• 시간에 따라 변하는 학습률과 적응형 모멘텀 항을 비볼록 환경에서 다룰 수 있도록 수정된 분석 프레임워크를 사용한다.
• 반례 및 실제 딥러닝 작업을 대상으로 한 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 비볼록 확률적 최적화에서 Adam의 전역 수렴을 보장할 수 있는 단순하고 확인하기 쉬운 조건이 존재하는가?
• RQ2 배치 크기를 증가시키면 미니배치 Adam의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 파라미터 서버 모델에서 분산형 Adam이 선형 속도 향상을 달성할 수 있는가?
• RQ4 제안된 수렴 조건이 기존에 알려진 Adam의 발산 문제를 해결하는가?
• RQ5 새로운 충분조건 하에서 Adam의 이론적 수렴 속도는 얼마인가?

주요 결과

• 제안된 충분조건은 비볼록 확률적 최적화에서 일반적인 Adam의 전역 수렴을 보장하며, 기존에 알려진 발산 문제에 대한 실용적인 해결책을 제공한다.
• 일반적인 Adam의 수렴 속도는 $\mathcal{O}(T^{-1}s^{1/2}d^{1/2} + T^{-1/2}d + T^{-1/3}s^{-1/4} + T^{-1/4}s^{-1/4}d^{1/2})$로 경계되며, 여기서 $T$는 반복 횟수, $s$는 배치 크기, $d$는 차원이다.
• 미니배치 Adam은 선형 속도 향상을 보이며, 이론 예측과 같이 더 큰 배치 크기일수록 수렴 성능이 비례하여 향상된다.
• 분산형 Adam 또한 파라미터 서버 모델에서 노드 수에 대해 선형 속도 향상을 보인다.
• 반례 및 실제 데이터셋을 대상으로 한 실험 결과는 이론적 수렴 행동과 속도 향상 효과를 확인한다.
• 분석 기법은 이전 연구 대비 더 깔끔한 수렴 속도를 도출하며, 특히 시간에 따라 변하는 학습률과 적응형 모멘텀 항을 다룰 때 유리하다.