[논문 리뷰] RMSProp and equilibrated adaptive learning rates for non-convex optimization.

Yann Dauphin, Harm de Vries외 2명|arXiv (Cornell University)|2015. 02. 15.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 183

한 줄 요약

이 논문은 비편향의 확률적 추정기인 ESGD를 제안하며, 음수 헤시안 고유값을 고려하여 비볼록 최적화에서 적응형 학습률을 향상시키는 평형 조절 조건자(정규화 조건자)를 제안한다. RMSProp과 달리, 이는 이 조건자의 편향 없는 근사치를 제공하므로 더 정확한 스텝 방향을 확보하고, 계산 오버헤드를 최소화하면서도 RMSProp과 SGD보다 수렴 속도가 빠르다.

ABSTRACT

Parameter-specific adaptive learning rate methods are computationally efficient ways to reduce the ill-conditioning problems encountered when training large deep networks. Following recent work that strongly suggests that most of the critical points encountered when training such networks are saddle points, we find how considering the presence of negative eigenvalues of the Hessian could help us design better suited adaptive learning rate schemes, i.e., diagonal preconditioners. We show that the optimal preconditioner is based on taking the absolute value of the Hessian's eigenvalues, which is not what Newton and classical preconditioners like Jacobi's do. In this paper, we propose a novel adaptive learning rate scheme based on the equilibration preconditioner and show that RMSProp approximates it, which may explain some of its success in the presence of saddle points. Whereas RMSProp is a biased estimator of the equilibration preconditioner, the proposed stochastic estimator, ESGD, is unbiased and only adds a small percentage to computing time. We find that both schemes yield very similar step directions but that ESGD sometimes surpasses RMSProp in terms of convergence speed, always clearly improving over plain stochastic gradient descent.

연구 동기 및 목표

• 적응형 학습률을 사용한 딥 네트워크 훈련에서의 불량 조건 문제를 해결하기 위해.
• 비볼록 설정에서 헤시안 고유값의 음수 성질이 최적화 동역학에 미치는 영향을 조사하기 위해.
• 클래식한 뉴턴 또는 자코비 조건자에 의존하는 대신, 헤시안 고유값의 절대값을 모델링하여 더 정확한 적응형 학습률 기반을 설계하기 위해.
• 대규모 딥 러닝에 적합한 비편향적이며 계산 효율적인 확률적 추정기를 개발하기 위해.

제안 방법

• 평형 조건자를 제안하며, 이는 헤시안 고유값의 절대값을 사용하여 안장점이 존재하는 상황에서도 최적화를 안정화시킨다.
• 평형 조건자의 비편향 확률적 추정기인 ESGD를 유도하며, RMSProp의 편향된 추정 방식을 개선한다.
• 제곱 그래디언트의 누적 평균을 사용하여 헤시안의 절대 고유값의 역행을 근사한다. RMSProp과 유사하지만 편향 보정이 추가되어 있다.
• RMSProp의 계산 효율성을 유지하면서도 조건자의 비편향 추정을 보장하는 새로운 업데이트 규칙을 도입한다.
• 각 파라미터별로 평형 원칙에 따라 학습률을 적응시키는 대각 조건자 전략을 활용한다.
• RMSProp과 평형 조건자 간의 관계를 분석하여, RMSProp이 이상적인 방법의 편향된 근사치임을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 음수 헤시안 고유값은 적응형 학습률 방법의 성능에 어떤 영향을 미치는가?
• RQ2 헤시안 고유값의 부호가 아닌 절대값을 고려함으로써 더 정확한 조건자를 유도할 수 있는가?
• RQ3 RMSProp은 이상적인 조건자의 비편향 추정기임에도 불구하고 안장점 환경에서 왜 잘 작동하는가?
• RQ4 최소한의 계산 비용으로 평형 조건자의 비편향 확률적 추정기를 설계할 수 있는가?
• RQ5 제안된 방법인 ESGD는 실질적으로 RMSProp과 SGD보다 수렴 속도가 더 빠른가?

주요 결과

• ESGD는 RMSProp이 같은 이상적 방법의 편향된 근사치를 사용하는 것과는 달리, 평형 조건자의 비편향 추정기이다.
• ESGD와 RMSProp은 최적화 과정에서 매우 유사한 스텝 방향을 생성하며, 이는 RMSProp의 성공이 평형 원칙을 근사하기 때문이라는 점을 시사한다.
• 테스트된 모든 시나리오에서 ESGD는 순수한 확률적 경사하강법보다 수렴 속도가 빠르게 일관되게 나타난다.
• ESGD는 때로 RMSProp을 능가하는 수렴 속도를 보이며, 이는 비편향 추정이 개선된 최적화 동역학을 이끌 수 있음을 보여준다.
• ESGD의 계산 오버헤드는 매우 미미하여, RMSProp 대비 훈련 시간에 소수점 몇 퍼센트 정도만 추가된다.
• 헤시안 고유값의 절대값에 기반한 평형 조건자는, 안장점이 존재하는 비볼록 설정에서 뉴턴 및 자코비 방법보다 이론적으로 열등하지 않다.