[논문 리뷰] Training Deep Networks without Learning Rates Through Coin Betting

Francesco Orabona, Tatiana Tommasi|arXiv (Cornell University)|2017. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망을 훈련하기 위한 학습률 자유(stochastic optimization) 알고리즘인 COCOB(Cocontinuous Coin Betting)을 제안한다. 확률적 경사하강법을 동전을 딸 것인가의 게임으로 재구성함으로써, COCOB는 수동적인 학습률 조정이 필요 없이 단계 크기를 동적으로 조정하며, CIFAR-10 및 PTB 언어 모델링을 포함한 다양한 벤치마크에서 Adam 및 Adagrad와 같은 최신 기법들과 비교해 동등하거나 더 뛰어난 성능을 달성한다.

ABSTRACT

Deep learning methods achieve state-of-the-art performance in many application scenarios. Yet, these methods require a significant amount of hyperparameters tuning in order to achieve the best results. In particular, tuning the learning rates in the stochastic optimization process is still one of the main bottlenecks. In this paper, we propose a new stochastic gradient descent procedure for deep networks that does not require any learning rate setting. Contrary to previous methods, we do not adapt the learning rates nor we make use of the assumed curvature of the objective function. Instead, we reduce the optimization process to a game of betting on a coin and propose a learning-rate-free optimal algorithm for this scenario. Theoretical convergence is proven for convex and quasi-convex functions and empirical evidence shows the advantage of our algorithm over popular stochastic gradient algorithms.

연구 동기 및 목표

• 딥러닝에서 지속적인 하이퍼파ram터 튜닝 문제, 특히 확률적 경사하강법에서의 수동적 학습률 선택 문제를 해결한다.
• 최적화 과정을 게임 이론적 동전 딸기 문제로 재정의함으로써 학습률 스케줄링이나 적응의 필요성을 제거한다.
• 볼록 및 준볼록 함수에 대해 최적 수렴 속도를 달성하는 이론적으로 탄탄한, 데이터 기반의 최적화 전략을 개발한다.
• 학습률이 없는 접근 방식이 실제 딥러닝 작업에서 인기 있는 적응형 최적화기의 성능을 따라하거나 초월할 수 있음을 입증한다.
• 알고리즘의 수렴에 대한 이론적 기반을 제공하고, 다양한 아키텍처와 데이터셋에서의 강건성을 실증적으로 검증한다.

제안 방법

• 학습률 자유 최적화 과정을 위해 확률적 경사하강법을 순차적 결정 게임—동전 딸기—로 재구성한다. 목표는 시간이 지남에 따라 누적 자산을 최대화하는 것이다.
• 기울기 크기에 기반해 단계 크기를 동적으로 조정하는 새로운 데이터 기반의 딸기 전략을 도입하며, 곡률 가정에 의존하지 않는다.
• 볼록 및 준볼록 함수에 대해 최적의 손실 보상 한계를 확보하는 COCOB 알고리즘을 게임 해법으로 유도한다.
• 딸기 전략을 파rameter 공간에서의 업데이트 크기로 해석함으로써, 동전 딸기 프레임워크를 경사하강법으로 다시 매핑한다.
• 배치 정규화와 기울기 클리핑을 사용해 딥 네트워크에 특화된 COCOB의 변종을 구현한다.
• 절대값이 아닌 상대 기울기 크기를 기반으로 하여 척도 불변성과 강건성을 확보함으로써, 학습률 하이퍼파ram터가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 게임 이론 원리를 활용해 확률적 경사하강법을 학습률 자유 최적화 과정으로 재구성할 수 있는가?
• RQ2 학습률 튜닝 없이도 데이터 기반의 동전 딸기 전략이 볼록 및 τ-약한 준볼록 함수에 대해 최적 수렴 속도를 달성할 수 있는가?
• RQ3 제안된 COCOB 알고리즘이 딥러닝 벤치마크에서 최신 기술인 Adam, Adagrad, AdaDelta 등과 비교해 성능이 어떻게 되는가?
• RQ4 학습률 하이퍼파ram터가 없는 것이 실제 딥러닝 작업에서 일반화 및 테스트 성능에 얼마나 큰 영향을 미치는가?
• RQ5 비볼록 딥러닝 목표 함수로 확장했을 때, 동전 딸기 프레임워크는 이론적 보장을 유지하면서도 실증적 효과성을 유지할 수 있는가?

주요 결과

• COCOB는 CIFAR-10에서 Adam, Adagrad, AdaDelta와 동등하거나 뛰어난 훈련 성능을 보이며, 테스트 오차는 약 0.008 이내로 차이가 난다.
• PTB 언어 모델링 과제에서 COCOB는 훈련 비용과 일반화 성능 면에서 Adam 및 Adagrad와 동등하거나 뛰어나며, 대부분의 경쟁자보다 낮은 퍼플렉서티를 기록한다.
• 과적합에 대한 강건성을 보이며, COCOB와 Adagrad는 가장 안정적인 테스트 퍼플렉서티 곡선을 보였고, 다른 알고리즘들은 수렴 후 퍼플렉서티가 증가하는 경향을 보였다.
• 실증 결과에 따르면 학습률을 정밀하게 튜닝할 경우, 인기 있는 최적화기 간 성능 격차가 줄어들며, 이는 공통된 기초 행동을 공유하고 있음을 시사한다.
• 이론적 분석을 통해 COCOB가 볼록 및 τ-약한 준볼록 함수에 대해 최적 수렴 속도를 달성함을 입증하며, 실증적 성공에 대한 강력한 이론적 기반을 확립한다.
• 학습률 하이퍼파ram터가 없더라도 성능에 손상이 가지 않으며, COCOB는 다양한 아키텍처와 데이터셋에서 안정성과 확장성을 유지한다.