[논문 리뷰] Variants of RMSProp and Adagrad with Logarithmic Regret Bounds

Mahesh Chandra Mukkamala, Matthias Hein|arXiv (Cornell University)|2017. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 110

한 줄 요약

이 논문은 온라인 볼록 최적화에서 RMSProp와 Adagrad를 분석하고, RMSProp에 대해 sqrt(T) 후퇴를, SC-Adagrad 및 SC-RMSProp에 대해 로그(로그리즘) 후퇴를 증명하며, 실험은 강볼록(convex) 및 딥러닝 설정에서 경쟁력 있는 성능을 보임.

ABSTRACT

Adaptive gradient methods have become recently very popular, in particular as they have been shown to be useful in the training of deep neural networks. In this paper we have analyzed RMSProp, originally proposed for the training of deep neural networks, in the context of online convex optimization and show $\sqrt{T}$-type regret bounds. Moreover, we propose two variants SC-Adagrad and SC-RMSProp for which we show logarithmic regret bounds for strongly convex functions. Finally, we demonstrate in the experiments that these new variants outperform other adaptive gradient techniques or stochastic gradient descent in the optimization of strongly convex functions as well as in training of deep neural networks.

연구 동기 및 목표

• 온라인 볼록 최적화와 딥러닝을 위한 적응 기울기 방법의 동기를 제시한다.
• 일반 볼록 설정에서 RMSProp에 대한 이론적 후퇴 경계를 확립한다.
• 강볼록 함수에 대해 로그-후퇴를 보장하는 SC-Adagrad와 SC-RMSProp를 제안한다.
• 볼록 문제와 딥러닝 과제에서 표준 적응 방법 및 SGD 대비 실험적 성능 향상을 입증한다.

제안 방법

• RMSProp를 대각 선전처리된 업데이트로 모델링하고 볼록 집합에 대한 가중된 프로젝션을 수행한다.
• Adagrad가 특정 파라미터 선택 하에서 RMSProp의 특수한 경우에 해당함을 보인다.
• 시간 및 좌표별 감쇠(delta_t)를 갖는 SC-Adagrad를 도입하여 강볼록 함수에 대해 O(log T) 후퇴를 달성한다.
• SC-RMSProp를 강볼록 변형으로 도입하고 유사한 로그 후퇴 보장을 제공한다.
• 데이터 의존적 후퇴 경계를 도출하고 적응성 및 안정성을 보장하는 delta_t의 감소 스킴을 제시한다.

실험 결과

연구 질문

• RQ1 온라인 볼록 최적화에서 RMSProp가 어떤 가중치/바이어싱 체계 아래에서 후퇴 경계를 달성할 수 있는가?
• RQ2 SC-Adagrad와 SC-RMSProp 변형이 강볼록 목적함수에 대해 로그-후퇴를 달성하는가?
• RQ3 온라인 설정에서 적응성과 안정성을 균형잡기 위해 뎀핑 및 스텝-사이즈 스케줄은 어떻게 선택되어야 하는가?
• RQ4 제안된 방법들이 강볼록 문제와 신경망 학습에서 기존의 적응 기울기 방법 및 SGD를 능가하는가?

주요 결과

• RMSProp는 온라인 볼록 최적화 내에서 분석될 수 있으며 적절한 가중치 하에서 데이터 의존적 O(sqrt(T)) 후퇴 경계를 달성한다.
• SC-Adagrad는 강볼록 함수에 대해 비 증가하는 감쇠 delta_t를 가진 데이터 의존적 로그-후퇴 경계를 달성한다.
• SC-RMSProp은 SC-Adagrad 분석을 RMSProp 유사 업데이트로 확장하여 강볼록 목적함수에 대해 로그-후퇴를 얻는다.
• 감쇠 전략 delta_t (예: xi2 e^{-xi1 v_t,i})와 좌표별 적응은 실무에서 안정성과 성능을 향상시킨다.
• 세 개의 데이터셋에 대한 실험에서 새로운 변형들이 강볼록 최적화 및 신경망 학습에서 다른 적응 방법 및 SGD에 비해 경쟁력 있거나 우수한 성능을 보인다.