[논문 리뷰] Speed learning on the fly

Pierre-Yves Massé, Yann Ollivier|arXiv (Cornell University)|2015. 11. 08.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 5

한 줄 요약

이 논문은 학습률을 실시간으로 최적화하는 하이퍼파rameter로 간주함으로써 온라인 및 적응형 스텝 사이즈 방법을 제안한다. 학습률 자체에 대해 경사 상승법을 적용하며, 최적화 경로를 통해 역전파를 효율적으로 계산함으로써 전체 역전파를 수행하지 않고도 자동 적응이 가능하며, 최소한의 하이퍼파rameter 튜닝으로 다양한 모델에서 뛰어난 성능을 달성한다.

ABSTRACT

The practical performance of online stochastic gradient descent algorithms is highly dependent on the chosen step size, which must be tediously hand-tuned in many applications. The same is true for more advanced variants of stochastic gradients, such as SAGA, SVRG, or AdaGrad. Here we propose to adapt the step size by performing a gradient descent on the step size itself, viewing the whole performance of the learning trajectory as a function of step size. Importantly, this adaptation can be computed online at little cost, without having to iterate backward passes over the full data.

연구 동기 및 목표

• 학습률의 수동 하이퍼파rameter 튜닝에 매우 민감한 온라인 스토하스틱 그래디언트 디센트(SGD)의 문제를 해결하기 위해.
• 학습 중에 스텝 사이즈를 자동으로 적응시켜 누적 목표 성능을 최대화하는 방법을 개발하기 위해.
• 전체 데이터셋에 대한 역전파가 필요 없이 온라인으로 저비용으로 학습률을 적응시키기 위해.
• SVRG 및 SAGA와 같은 고급 변형으로 이 방법을 확장하여 수렴성과 강인성을 향상시키기 위해.

제안 방법

• 학습률을 하이퍼파rameter로 간주하고, 스텝 사이즈에 대한 누적 목표 함수의 도함수를 이용해 학습률에 대해 경사 상승을 수행한다.
• 학습 경로를 따라 헤시안 및 기울기 항목의 재귀적 갱신을 통해 ∂/∂η ℓₜ(θₜ(η)) 도함수를 계산한다.
• 최근 스텝 사이즈를 우선시하고 계산 비용을 줄이기 위해 [SZL13]의 영감을 얻어 메모리 가중 기울기 갱신을 실용적인 근사로 도입한다.
• 분산 감소 기반 기울기 추정을 고려해 업데이트 규칙을 조정함으로써 SVRG로 알고리즘을 확장한다.
• 업데이트의 안정성과 수치적 행동을 향상시키기 위해 스텝 사이즈의 로그 파aram터라이제이션을 사용한다.
• 매개변수 업데이트의 순서에 대한 체인 룰을 적용해 최적화 경로를 따라 기울기를 계산함으로써 전체 역전파를 피한다.

실험 결과

연구 질문

• RQ1 수동 튜닝이나 전체 역전파 없이 온라인 학습 중에 학습률을 자동으로 최적화할 수 있는가?
• RQ2 온라인 환경에서 스텝 사이즈에 대한 누적 목표 함수의 기울기를 효율적으로 계산할 수 있는가?
• RQ3 학습률에 대해 경사 상승을 통해 적응형 스텝 사이즈 선택이 다양한 모델과 알고리즘에서 수렴성과 성능을 향상시키는가?
• RQ4 이 방법은 SVRG와 같은 분산 감소 기반 스토하스틱 최적화 방법으로 확장될 수 있는가?
• RQ5 메모리 가중 기울기 갱신이 적응형 학습률의 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법인 SG/SG는 일차원 가우시안, 베르누이, 50차원 선형 회귀를 포함한 모든 테스트 모델에서 고정된 학습률을 사용한 표준 SGD보다 유의미하게 뛰어난 성능을 달성한다.
• 적응형 학습률 체계는 초기 하이퍼파라미터 선택에 대한 민감도를 감소시켜 수동 튜닝 없이도 강인한 성능을 보인다.
• 이 방법은 SVRG로 성공적으로 확장되어 고정된 스텝 사이즈 버전보다 더 뛰어난 수렴성과 안정성을 보였다.
• 이론적 분석을 통해 업데이트 규칙이 스텝 사이즈 수열 공간에서 진짜 경사 상승을 근사함을 확인했다.
• 최근 스텝 사이즈 조정을 우선시하는 메모리 가중 변형(SG/AG)은 더 빠른 적응과 더 나은 최종 목표 값으로 성능을 향상시켰다.
• 실험 결과는 적응형 방법이 고정 학습률 SGD와 AdaGrad보다 누적 목표 값과 수렴 속도 측면에서 모두 뛰어나다는 것을 보여주었다.