[논문 리뷰] Backprop without Learning Rates Through Coin Betting

Francesco Orabona, Tatiana Tommasi|arXiv (Cornell University)|2017. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 최적화 과정을 동전 베팅 게임으로 재구성함으로써 딥 네ural 네트워크를 위한 학습률에 의존하지 않는 확률적 최적화 알고리즘을 제안한다. 새로운 적응형 베팅 전략을 통해 수동 학습률 조정이 필요 없도록 함으로써, 볼록 및 준볼록 함수에 대해 이론적 수렴성을 확보하고, 곡률 가정이나 학습률 적응이 필요 없이도 기존의 확률적 경사하강법보다 뛰어난 경험적 성능을 보인다.

ABSTRACT

Deep learning methods achieve state-of-the-art performance in many application scenarios. Yet, these methods require a significant amount of hyperparameters tuning in order to achieve the best results. In particular, tuning the learning rates in the stochastic optimization process is still one of the main bottlenecks. In this paper, we propose a new stochastic gradient descent procedure for deep networks that does not require any learning rate setting. Contrary to previous methods, we do not adapt the learning rates nor we make use of the assumed curvature of the objective function. Instead, we reduce the optimization process to a game of betting on a coin and propose a learning-rate-free optimal algorithm for this scenario. Theoretical convergence is proven for convex and quasi-convex functions and empirical evidence shows the advantage of our algorithm over popular stochastic gradient algorithms.

연구 동기 및 목표

• 딥 러닝에서 지속적인 하이퍼파rameter 조정 문제, 특히 최적의 학습률를 설정하는 데 어려움을 해결하기 위해.
• 모든 학습률 하이퍼파rameter 없이도 작동하는 확률적 최적화 절차를 개발하기 위해.
• 최적화 과정에서 곡률 추정이나 적응형 학습률 메커니즘에 의존하지 않도록 하기 위해.
• 기존의 확률적 경사하강법에 대한 이론적으로 탄탄한 학습률에 의존하지 않는 대안을 제공하기 위해.
• 기존의 표준 확률적 최적화 알고리즘과 비교하여 제안된 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 모델 파라미터는 고정 또는 적응형 학습률을 사용하는 경사하강법이 아니라, 베팅 전략에 기반해 업데이트되는 동전 베팅 게임으로 재구성된 최적화 과정으로 재정의된다.
• 동전 베팅 프레임워크에서 유도된 새로운 학습률에 의존하지 않는 업데이트 규칙이 도출되며, 이는 기울기의 부호와 크기에 따라 동적으로 파라미터 업데이트를 조정한다.
• 탐색과 이용의 균형을 유지함으로써 볼록 및 준볼록 조건 하에서 수렴을 보장하는 베팅 전략을 사용한다.
• 헤시안 또는 어떤 곡률 정보도 추정할 필요가 없으며, 이는 제2차 또는 적응형 방법과의 차별성을 제공한다.
• 온라인 볼록 최적화 및 손실 최소화 프레임워크를 사용하여 볼록 및 준볼록 함수에 대해 이론적 수렴성을 증명한다.
• 경험적 평가에서는 표준 확률적 경사하강법과 Adam과 같은 적응형 방법과의 비교를 통해 학습 안정성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 딥 러닝에서의 확률적 최적화는 어떤 학습률 하이퍼파rameter도 필요 없이 수행될 수 있는가?
• RQ2 동전 베팅 기반의 학습률에 의존하지 않는 방법이 볼록 및 준볼록 함수에 대해 이론적 수렴성을 달성하는가?
• RQ3 제안된 방법의 성능은 실제 적용에서 표준 확률적 경사하강법과 Adam과 같은 적응형 방법과 비교해 어떻게 되는가?
• RQ4 동전 베팅 프레임워크는 딥 네ural 네트워크에서 학습률 적응의 안정적이고 효과적인 대안을 제공할 수 있는가?
• RQ5 제안된 방법은 곡률 정보나 기울기 크기 스케일링의 부재에 대해 강건한가?

주요 결과

• 제안된 학습률에 의존하지 않는 알고리즘이 볼록 및 준볼록 목적 함수 모두에 대해 이론적 수렴성을 달성한다.
• 경험적 결과는 이 방법이 표준 확률적 경사하강법과 Adam과 같은 적응형 방법보다 학습 안정성과 최종 성능 측면에서 뛰어나다는 것을 보여준다.
• 이 방법은 어떤 학습률 조정도 필요로 하지 않아 하이퍼파rameter 검색의 노력이 크게 줄어든다.
• 알고리즘은 곡률 추정이나 적응형 학습률 메커니즘에 의존하지 않으며, 강력한 성능을 유지한다.
• 동전 베팅 프레임워크는 기존의 학습률 기반 최적화에 대한 원칙적이고 효과적인 대안을 제공한다.
• 이 방법은 다양한 딥 러닝 작업에서 강건성을 보이며, 광범위한 적용 가능성을 시사한다.