[논문 리뷰] Convergence guarantees for RMSProp and ADAM in non-convex optimization and their comparison to Nesterov acceleration on autoencoders.

Amitabh Basu, Soham De외 2명|arXiv (Cornell University)|2018. 07. 18.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 32

한 줄 요약

이 논문은 비볼록 최적화에서 RMSProp과 ADAM의 이론적 수렴 보장을 제공하며, 유한한 실행 시간 내에 임계점을 향해 수렴함을 증명한다. 자동에코더에서의 실험 결과, 고운동량($\beta_1 = 0.99$) 설정에서 ADAM이 Nesterov 가속 경사(NA)보다 우수한 성능을 보이며, 특히 깊은 네트워크에서 두드러진다. 반면 ADAM의 표준 $\beta_1 = 0.9$ 설정에서는 NAG가 더 우수한 일반화 성능을 보인다.

ABSTRACT

RMSProp and ADAM continue to be extremely popular algorithms for training neural nets but their theoretical foundations have remained unclear. In this work we make progress towards that by giving proofs that these adaptive gradient algorithms are guaranteed to reach criticality for smooth non-convex objectives and we give bounds on the running time. We then design experiments to compare the performances of RMSProp and ADAM against Nesterov Accelerated Gradient method on a variety of autoencoder setups. Through these experiments we demonstrate the interesting sensitivity that ADAM has to its momentum parameter $\beta_1$. We show that in terms of getting lower training and test losses, at very high values of the momentum parameter ($\beta_1 = 0.99$) (and large enough nets if using mini-batches) ADAM outperforms NAG at any momentum value tried for the latter. On the other hand, NAG can sometimes do better when ADAM's $\beta_1$ is set to the most commonly used value: $\beta_1 = 0.9$. We also report experiments on different autoencoders to demonstrate that NAG has better abilities in terms of reducing the gradient norms and finding weights which increase the minimum eigenvalue of the Hessian of the loss function.

연구 동기 및 목표

• 부드러운 비볼록 최적화 문제에서 RMSProp과 ADAM의 이론적 수렴 보장을 확립하는 것.
• 실제 적용에서 ADAM의 운동량 하이퍼파rameter $\beta_1$에 대한 민감도를 분석하는 것.
• 다양한 자동에코더 아키텍처에서 ADAM과 Nesterov 가속 경사(NAG)의 성능을 비교하는 것.
• 각 최적화 알고리즘이 기울기 노름을 어떻게 감소시키고 헤시안 조건수를 향상시키는지 평가하는 것.
• 비볼록 딥 러닝 환경에서 ADAM과 NAG의 최적 하이퍼파rameter 설정을 결정하는 것.

제안 방법

• 이론적 분석을 통해 부드러운 비볼록 목표 함수에 대해 RMSProp과 ADAM이 임계점으로 수렴함을 증명하고, 수렴 시간에 대한 경계를 제시한다.
• 실증적 평가를 통해 다양한 네트워크 깊이와 미니배치 크기를 가진 여러 자동에코더 설정에서 ADAM과 NAG를 비교한다.
• ADAM의 $\beta_1$를 표준값인 $0.9$에서 고운동량인 $0.99$로 변화시켜 학습 손실과 테스트 손실에 미치는 영향을 평가한다.
• 기울기 노름 감소와 최소 헤시안 고유값을 최적화 품질의 지표로 모니터링한다.
• 다양한 아키텍처를 대상으로 비교하여 안정성과 일반화 성능를 평가한다.
• 최적화 효과를 평가하기 위해 학습 손실과 일반화(테스트 손실) 지표를 모두 포함한다.

실험 결과

연구 질문

• RQ1 RMSProp과 ADAM은 비볼록 최적화에서 임계점으로 수렴할 수 있는 이론적 보장이 있는가?
• RQ2 ADAM의 $\beta_1$ 설정 선택이 NAG 대비 성능에 미치는 영향는 어떠한가?
• RQ3 ADAM이 학습 손실과 테스트 손실 측면에서 NAG를 능가하는 조건은 무엇인가?
• RQ4 NAG는 ADAM보다 기울기 노름 감소나 헤시안 조건수 측면에서 뛰어난 성능을 보이는가?
• RQ5 네트워크 깊이와 미니배치 크기는 ADAM과 NAG 간의 성능 격차에 어떤 영향을 미치는가?

주요 결과

• 부드러운 비볼록 최적화에서 RMSProp과 ADAM은 유한한 실행 시간 내에 임계점으로 수렴함이 이론적으로 보장된다.
• ADAM이 $\beta_1 = 0.99$일 경우, 특히 미니배치를 사용하는 깊은 네트워크에서 NAG보다 낮은 학습 손실과 테스트 손실을 기록한다.
• ADAM의 표준 $\beta_1 = 0.9$ 설정일 경우, 일반화 측면에서 Nesterov 가속 경사(NAG)가 종종 더 뛰어난 성능을 보인다.
• NAG는 ADAM보다 최적화 과정에서 기울기 노름 감소 능력이 뛰어나다.
• NAG는 또한 더 높은 헤시안 최소 고유값을 갖는 해를 찾는다. 이는 더 우수한 국소 곡률 성질을 의미한다.
• ADAM의 성능은 $\beta_1$ 설정에 매우 민감하며, 깊은 네트워크 환경에서 $\beta_1 = 0.99$ 설정이 $\beta_1 = 0.9$ 설정보다 뚜렷한 향상을 이룬다.