[논문 리뷰] Using Statistics to Automate Stochastic Optimization

Hunter Lang, Pengchuan Zhang외 1명|arXiv (Cornell University)|2019. 09. 21.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 통계적 가설 검정을 사용하여 동적 경사 하강법에 모멘텀을 더한 방법(SGM)이 정상 분포에 도달했을 때 자동으로 학습률을 낮추는 통계적 적응형 확률적 근사(SASA)를 제안한다. SASA는 유일하게 기본 하이퍼파rameter만을 사용하여 다양한 딥러닝 작업에서 수작업으로 조정된 학습률 스케줄링과 맞추거나 이를 초월한다. 이는 강건성 향상과 수동 조정 감소를 이끈다.

ABSTRACT

Despite the development of numerous adaptive optimizers, tuning the learning rate of stochastic gradient methods remains a major roadblock to obtaining good practical performance in machine learning. Rather than changing the learning rate at each iteration, we propose an approach that automates the most common hand-tuning heuristic: use a constant learning rate until "progress stops," then drop. We design an explicit statistical test that determines when the dynamics of stochastic gradient descent reach a stationary distribution. This test can be performed easily during training, and when it fires, we decrease the learning rate by a constant multiplicative factor. Our experiments on several deep learning tasks demonstrate that this statistical adaptive stochastic approximation (SASA) method can automatically find good learning rate schedules and match the performance of hand-tuned methods using default settings of its parameters. The statistical testing helps to control the variance of this procedure and improves its robustness.

연구 동기 및 목표

• 딥러닝 모델에서의 수동 학습률 조정 문제를 지속적으로 해결한다.
• 고정 또는 감소하는 학습률 스케줄링의 한계를 극복하여 일반적으로 히ュ리스틱한 '일정 유지 후 절단' 전략에 비해 성능이 열 劣하는 경우를 방지한다.
• 학습 진행이 정지했을 때를 감지할 수 있는 자동화된, 통계적으로 타당한 방법을 개발하여 최적의 학습률 감소 시점에 대응한다.
• 히ュ리스틱적 트리거를 공식적인 통계적 검정으로 대체함으로써 하이퍼파rameter 민감도의 변동성을 줄이고 강건성을 향상시킨다.
• 작업에 특화된 조정 없이도 전문가가 수작업으로 조정한 스케줄링 수준에 도달하거나 이를 초월하는 자동 학습률 적응을 가능하게 한다.

제안 방법

• 고정된 길이의 M 반복 단위로 SGM 업데이트를 수행하고, 기울기와 모멘텀 벡터의 통계를 수집하는 SASA 프레임워크를 제안한다.
• SGM 동역학의 에르고딕성에 기반한 통계적 검정을 사용하여 과정이 정상 분포에 도달했는지 감지한다.
• Yaida(2018)에서 유도한 핵심 정상 조건 E[⟨x, g⟩] ≈ (α/2) * ((1+β)/(1−β)) * E[⟨d, d⟩]를 활용하며, 이는 최소한의 오버헤드로 학습 이력으로부터 추정할 수 있다.
• 정상 조건의 좌변과 우변 간의 정규화된 차이에 대한 가설 검정을 수행하여 정상성을 감지한다.
• 비어 있는 가설(비정상성)을 기각할 경우, 학습률을 곱으로 감소시켜 (α ← ζα) 트리거한다.
• 시험 통계량의 이동 평균을 사용하여 학습 중 안정성을 향상시키고 임의의 양성 결과를 줄인다.

실험 결과

연구 질문

• RQ1 SGM 동역학이 학습 도중 정상 분포에 도달했을 때 통계적 검정이 이를 감지할 수 있는가?
• RQ2 통계적 정상성 감지에 기반한 학습률 감소를 자동화하면 수작업 조정 또는 히ュ리스틱 스케줄링보다 성능이 뛰어나지 않는가?
• RQ3 다양한 딥러닝 작업, 다양한 아키텍처 및 데이터 분포에서 제안된 방법의 강건성은 어떠한가?
• RQ4 검증 손실이나 수동 조정 없이도 통계적 검정이 진전과 정체를 신뢰성 있게 구분할 수 있는가?
• RQ5 히ュ리스틱 학습률 스케줄링에 비해 통계적 검정 사용이 변동성을 줄이고 일관성을 향상시키는가?

주요 결과

• SASA는 검증 손실에 접근할 수 없더라도 학습 통계만으로 SGM 동역학의 정상성을 성공적으로 감지하여 자동 학습률 감소를 가능하게 한다.
• ResNet-18을 사용한 CIFAR-10에서 SASA는 유일하게 기본 하이퍼파rameter만을 사용하여 수작업 조정된 SGM-hand 방법(94.2%)과 동일한 테스트 정확도를 달성했다.
• 메트릭은 Adam 및 감소하는 단계 크기를 가진 SGM과 유사한 성능을 보였지만, 하이퍼파ram터 민감도가 크게 감소했다.
• 통계적 검정은 강건성을 향상시켰다: 순차적 검정에도 불구하고 높은 상관관계로 인해 과도한 거짓 양성률이 발생하지 않았다.
• Yaida(2018)에 기반한 정상 조건은 실험에서 빠르게 0으로 수렴하는 것으로 확인되어 실시간 감지에 신뢰할 수 있음을 입증했다.
• 기울기 재사용으로 인해 시험 통계량 계산에 기여한 덕분에 SASA는 표준 SGM 대비 약 33% 더 많은 계산량만을 요구하여 계산적으로 효율적이었다.