[논문 리뷰] Statistical Adaptive Stochastic Gradient Methods

Pengchuan Zhang, Hunter Lang외 2명|arXiv (Cornell University)|2020. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 초기 학습률을 위한 수동 하이퍼파rameter 조정이 필요 없이, 적응형 학습률 웜업을 위한 스무딩된 스토케스틱 라인 서치(SSLS)와 자동 학습률 감소를 위한 통계적 정착성 테스트(SASA+)를 결합한 완전 자율적인 확률적 최적화 방법인 SALSA를 제안한다. SALSA는 수동으로 튜닝된 최적화 방법과 동등한 성능을 다양한 딥러닝 작업에서 달성하며, 초기 또는 감소된 학습률에 대한 수동 하이퍼파rameter 조정이 필요하지 않다.

ABSTRACT

We propose a statistical adaptive procedure called SALSA for automatically scheduling the learning rate (step size) in stochastic gradient methods. SALSA first uses a smoothed stochastic line-search procedure to gradually increase the learning rate, then automatically switches to a statistical method to decrease the learning rate. The line search procedure ``warms up'' the optimization process, reducing the need for expensive trial and error in setting an initial learning rate. The method for decreasing the learning rate is based on a new statistical test for detecting stationarity when using a constant step size. Unlike in prior work, our test applies to a broad class of stochastic gradient algorithms without modification. The combined method is highly robust and autonomous, and it matches the performance of the best hand-tuned learning rate schedules in our experiments on several deep learning tasks.

연구 동기 및 목표

• 스토케스틱 최적화에서 초기 학습률에 대한 수동 하이퍼파rameter 조정이 필요 없도록 하는 것.
• 알고리즘에 특화된 수정 없이도 스토케스틱 그레디언트 방법에서 정착성을 탐지할 수 있는 일반적인 통계적 테스트를 개발하는 것.
• 사전 조정 없이 수렴성과 일반화 성능을 향상시키는 자율적인 학습률 스케줄링 프레임워크를 설계하는 것.
• 단일 기본 설정을 사용하여 다양한 딥러닝 모델과 데이터셋에서 견고한 학습을 가능하게 하는 것.

제안 방법

• SALSA는 작은 초기 값에서 시작하여 학습률을 점진적으로 증가시키는 스무딩된 스트로케스틱 라인 서치(SSLS)를 사용하여 안정성 없이 초기 학습을 가속화한다.
• 이 방법은 조기 수렴을 피하기 위해 통계적 라인 서치 절차를 통해 학습률이 안정적이고 효과적인 값을 도달했을 때를 감지한다.
• SALSA는 그레디언트 노름의 경험적 평균과 분산에 기반한 통계적 테스트인 SASA+를 사용하여 일정한 학습률 하에서 정착성을 감지한다.
• SASA+의 정착성 테스트는 SGD, SHB, NAG를 포함한 광범위한 스토케스틱 최적화 방법에 대해 수정 없이도 일반적으로 적용 가능하도록 설계되어 있다.
• 통계적 테스트가 정착성을 감지하면 학습률이 고정된 요소로 자동으로 감소된다. 이는 수렴성과 일반화 성능 향상에 기여한다.
• SSLS를 통한 웜업과 SASA+를 통한 감소를 조합한 이 접근법은 수동으로 튜닝된 학습률 스케줄이 필요 없는 완전 자율 최적화 방법을 형성한다.

실험 결과

연구 질문

• RQ1 알고리즘에 특화된 적응 없이 통계적 테스트가 스토케스틱 그레디언트 방법에서 정착성을 탐지할 수 있는가?
• RQ2 스무딩된 스트로케스틱 라인 서치가 수동 초기화 없이 효과적으로 학습률을 웜업할 수 있는가?
• RQ3 자율적인 학습률 스케줄링 전략이 다양한 딥러닝 작업에서 손수 튜닝된 스케줄과 동등하거나 그 이상의 성능을 달성할 수 있는가?
• RQ4 SALSA의 단일 기본 설정이 여러 모델과 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SALSA는 기본 초기 학습률 0.01로 CIFAR-10에서 95%의 테스트 정확도를 달성하여 손수 튜닝된 SHB 최적화 방법과 동등한 성능을 보였다.
• ImageNet에서 SALSA는 손수 튜닝된 SHB 최적화 방법의 최고 테스트 정확도를 달성했으며, 작은 초기 학습률에서 출발함에도 불구하고 웜업이 있는 Adam보다 뛰어난 성능을 보였다.
• MNIST에서 모든 방법이 유사한 성능로 수렴하여 SALSA가 볼록 설정에서도 효과적임을 확인했다.
• Wikitext-2에서 검증 기반 조기 정지 히우리스틱('w/ val')을 사용한 SALSA는 손수 검증 기반 학습률 감소를 적용한 SGD와 유사한 테스트 성능을 달성했다.
• SALSA는 초기 학습률 설정을 위한 고비용의 시도-오류 과정이 필요 없었으며, 단일 기본 설정으로도 경쟁 가능한 성능을 달성했다.
• SASA+의 통계적 정착성 테스트는 SGD, SHB, NAG 방법에 대해 수정 없이도 일반적으로 적용 가능함이 입증되어 실용적 유용성이 향상되었다.