[논문 리뷰] Stochastic Gradient Descent: Going As Fast As Possible But Not Faster

Alice Schoenauer Sebag, Marc Schoenauer외 1명|arXiv (Cornell University)|2017. 09. 05.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 10

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)을 위한 새로운 적응형 학습률 방법인 SALeRA를 제안한다. SALeRA는 두 가지 통계적 검정을 사용하여 학습률을 동적으로 조정한다: 한 가지는 기울기 방향이 일致할 경우 학습을 가속화하고, 다른 하나는 Page-Hinkley 변화점 검정을 통해 치명적인 훈련 실패를 탐지하고 복구한다. SALeRA는 기준 방법 대비 실패율을 40% 감소시키며, MNIST 및 CIFAR-10 벤치마크에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

When applied to training deep neural networks, stochastic gradient descent (SGD) often incurs steady progression phases, interrupted by catastrophic episodes in which loss and gradient norm explode. A possible mitigation of such events is to slow down the learning process. This paper presents a novel approach to control the SGD learning rate, that uses two statistical tests. The first one, aimed at fast learning, compares the momentum of the normalized gradient vectors to that of random unit vectors and accordingly gracefully increases or decreases the learning rate. The second one is a change point detection test, aimed at the detection of catastrophic learning episodes; upon its triggering the learning rate is instantly halved. Both abilities of speeding up and slowing down the learning rate allows the proposed approach, called SALeRA, to learn as fast as possible but not faster. Experiments on standard benchmarks show that SALeRA performs well in practice, and compares favorably to the state of the art.

연구 동기 및 목표

• SGD 동안 손실과 기울기 노름의 치명적인 폭발로 인해 발생하는 딥 네ural 네트워크 훈련의 불안정성 문제를 해결하기 위해.
• 치명적인 에피소드를 유발하지 않으면서도 빠른 수렴을 가능하게 하는 학습률 적응 전략을 개발하기 위해.
• 실시간으로 훈련 실패를 탐지하고 복구할 수 있는 원칙적이고 중립적인 방법을 제공하기 위해.
• 훈련을 불필요하게 느리게 만드는 수동적 학습률 감소 스케줄에 의존도를 줄이기 위해.
• 모델 또는 데이터 분포에 관계없이 표준 벤치마크(MNIST 및 CIFAR-10)에서 강건성과 성능을 향상시키되, 하이퍼파rameter 민감도는 증가시키지 않기 위해.

제안 방법

• SALeRA는 학습률을 증가시키거나 감소시키는지를 판단하기 위해 정규화된 기울기 벡터의 운동량을 무작위 단위 벡터의 운동량과 비교하는 ALeRA 절차를 사용한다.
• 기울기 방향 일致도가 무작위 수준을 초과할 경우 학습률을 증가시키고, 그렇지 않으면 감소시킨다.
• 작은 배치 손실 곡선을 모니터링하기 위해 Page-Hinkley(PH) 변화점 검정 테스트를 사용하여 갑작스러운 변화가 나타나면 치명적인 에피소드를 탐지한다.
• PH 테스트가 발동하면 학습률을 즉시 반으로 줄이고 모델을 이전 상태로 복원하여 신속한 복구를 가능하게 한다.
• 이 방법은 손실 곡면에 대한 사전 지식이 필요 없어, 모델이나 데이터 분포에 관계없이 중립적이다.
• 이 방법은 플러그 앤 플레이 방식으로 설계되어 기존 최적화기(예: Adam)와 호환되며, 최소한의 하이퍼파rameter로 조정이 가능하다.

실험 결과

연구 질문

• RQ1 통계적 검정이 치명적인 훈련 실패를 손상이 발생하기 전에 탐지할 수 있는가?
• RQ2 기울기 방향 상관관계는 학습률을 안전하게 증가시키는 신뢰할 수 있는 신호로 사용될 수 있는가?
• RQ3 실패 탐지 시 즉시 학습률을 반으로 줄이는 반응형 복구 메커니즘이 훈련의 강건성을 향상시키는가?
• RQ4 적응형 가속과 반응형 복구의 조합이 Adam 및 NAG와 같은 기존 적응형 최적화기보다 우수한 성능을 낼 수 있는가?
• RQ5 Page-Hinkley 임계값의 선택이 학습 속도와 실패 방지 사이의 균형에 어떤 영향을 미치는가?

주요 결과

• SALeRA는 테스트된 벤치마크에서 훈련 실패율(20 에포크 후 테스트 오차 >80%)을 기준 방법 대비 18.3%에서 11.7%로 감소시켰다.
• 이 방법은 기존에 실패할 것으로 예상되는 약 40%의 실험을 성공적으로 복구하여 치명적인 에피소드에 대한 강력한 내성성을 입증했다.
• Page-Hinkley 임계값을 초기 손실 값의 10%로 설정할 경우 공격적인 학습과 실패 방지 사이의 최적 균형을 이룬다.
• λ=100 또는 λ=1000으로 설정할 경우 성능이 크게 떨어지므로, 과도하게 민감한 탐지가 학습 속도에 악영향을 준다는 것을 시사한다.
• SALeRA의 최적 하이퍼파ram터는 α = 0.01 및 C = 3×10⁻⁶이며, Adam의 최적 β1 및 β2 값은 기본 설정(0.9 및 0.9999)과 다름(0.8 및 0.9999 vs. 0.9 및 0.999).
• SALeRA는 최소한의 하이퍼파rameter 조정으로도 최신 기술 수준의 최적화기(예: Adam 및 NAG)와 동등하거나 뛰어난 성능을 달성한다.