[논문 리뷰] ADADELTA: An Adaptive Learning Rate Method

Matthew D. Zeiler|arXiv (Cornell University)|2012. 12. 22.

Neural Networks and Applications참고 문헌 6인용 수 5,519

한 줄 요약

ADADELTA는 1차 정보만을 사용하는 차원별 적응 학습률 방법을 도입하여 수동 학습률 조정의 필요성을 제거하고, 다양한 아키텍처와 데이터에 걸친 안정성을 향상시킨다.

ABSTRACT

We present a novel per-dimension learning rate method for gradient descent called ADADELTA. The method dynamically adapts over time using only first order information and has minimal computational overhead beyond vanilla stochastic gradient descent. The method requires no manual tuning of a learning rate and appears robust to noisy gradient information, different model architecture choices, various data modalities and selection of hyperparameters. We show promising results compared to other methods on the MNIST digit classification task using a single machine and on a large scale voice dataset in a distributed cluster environment.

연구 동기 및 목표

• 수동 조정을 피하는 학습률 방법의 필요성을 제시한다.
• 1차 정보만을 사용하여 차원별 적응 학습률을 개발한다.
• ADAGRAD에서 보이는 지속적인 학습률 감소 문제를 완화하면서 이점은 보존한다.
• 데이터세트, 아키텍처 및 분산 학습 환경 전반에서의 강건성을 입증한다.

제안 방법

• 지수 이동 평균을 통한 제곱 기울기의 윈도우형 누적을 도입한다: E[g^2]_t = rho E[g^2]_{t-1} + (1 - rho) g_t^2.
• RMS 기반 정규화를 사용하여 업데이트를 계산한다: Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 동일한 rho로 업데이트 제곱의 누적 E[Delta x^2]_t를 유지하여 단위 일관된 업데이트를 적응시킨다.
• 적절한 단위와 안정성을 보장하는 대각 Hessian 유사 근사에서 ADADELTA 업데이트를 도출한다: Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 학습 시작 및 안정화를 위해 분자와 분모 모두에 epsilon을 적용한다.
• 초기화, 기울기 계산, 누적, 업데이트 및 적용을 자세히 다루는 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 1차 정보만을 사용하여 차원별 적응 학습률을 달성할 수 있는가?
• RQ2 그래디언트 통계의 윈도우형 누적(전역 누적 아님)이 ADAGRAD처럼 학습률 소실을 방지하는가?
• RQ3 RMS 기반 업데이트가 데이터셋, 아키텍처 및 분산 설정 전반에서 강건한 성능을 낳는가?
• RQ4 SGD, Momentum, ADAGRAD에 비해 ADADELTA의 하이퍼파라미터가 성능에 어떤 영향을 미치는가?
• RQ5 네트워크 계층별 및 학습 중 효과적 학습률에 ADADELTA가 미치는 영향은 무엇인가?

주요 결과

• ADADELTA는 ADAGRAD의 초기 수렴 속도에 도달하거나 이를 상회하고, 그래디언트의 윈도우형 누적을 사용하여 진행 상황을 유지한다.
• ADADELTA는 하이퍼파라미터 설정에 대한 강건성을 보여주며, SGD, Momentum 또는 ADAGRAD보다 민감도가 낮다.
• MNIST에서 ADADELTA는 경쟁력 있는 테스트 오차를 달성하고 다양한 활성화 함수 및 네트워크 크기에서도 효과적이다.
• 대규모 음성 실험에서 ADADELTA는 분산 레플리카 전반에서 잘 동작하며 빠른 수렴을 유지한다.
• 훈련 초기에는 네트워크의 하위 계층에서 스텝 크기가 더 크고, 훈련이 진행될수록 1에 가까워지며 업데이트가 매끄럽게 감소한다.