[논문 리뷰] Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic

Matteo Sordello, Dalmasso, Niccolò외 2명|arXiv (Cornell University)|2019. 10. 18.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 스 tochastic 최적화를 위한 강력한 학습률 스케줄링 방법인 SplitSGD를 제안한다. 이 방법은 새로운 스플리팅 진단을 통해 정(stationarity)을 감지할 때 동적으로 학습률을 감소시킨다. 두 개의 독립된 SGD 스레드에서 유도된 기울기를 비교함으로써, 반복값이 국소 최소점 근처에서 진동하고 있음을 식별하고, 추가적인 계산 비용 없이 학습률을 조정한다. 이로 인해 일반화 성능과 수렴 속도가 향상되며, 특히 딥 뉴럴 네트워크와 같은 비볼록 설정에서 Adam과 표준 SGD보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes SplitSGD, a new dynamic learning rate schedule for stochastic optimization. This method decreases the learning rate for better adaptation to the local geometry of the objective function whenever a stationary phase is detected, that is, the iterates are likely to bounce at around a vicinity of a local minimum. The detection is performed by splitting the single thread into two and using the inner product of the gradients from the two threads as a measure of stationarity. Owing to this simple yet provably valid stationarity detection, SplitSGD is easy-to-implement and essentially does not incur additional computational cost than standard SGD. Through a series of extensive experiments, we show that this method is appropriate for both convex problems and training (non-convex) neural networks, with performance compared favorably to other stochastic optimization methods. Importantly, this method is observed to be very robust with a set of default parameters for a wide range of problems and, moreover, can yield better generalization performance than other adaptive gradient methods such as Adam.

연구 동기 및 목표

• 스 tochastic 최적화에서 최적의 학습률을 선택하는 데 도전하는 것. 이는 수렴성과 일반화에 결정적인 영향을 미친다.
• 고정 또는 히우리스틱 학습률 스케줄링의 한계를 극복하여 하이퍼파rameter 선택에 민감하지 않은 방법을 개발하는 것.
• 자체적으로 정적 단계(국소 최소점 근처)를 감지하고, 이를 바탕으로 학습률을 조정하는 방법을 개발하는 것.
• 최소한의 튜닝으로 볼록 및 비볼록 목적 함수를 포함한 다양한 문제에 대해 강건성을 확보하는 것.
• 특히 딥 러닝 설정에서 Adam과 같은 적응형 방법보다 일반화 성능을 향상시키는 것.

제안 방법

• SplitSGD는 동일한 초기 파라미터 값에서 시작하여 서로 다른 무작위 데이터 샘플을 사용하는 두 개의 독립된 SGD 스레드를 실행한다.
• 정기적인 간격으로 두 스레드의 평균 기울기 간의 내적곱(기울기 일관성)을 계산하여 정적 상태를 평가한다.
• 다중 윈도우를 통해 음수 내적곱의 비율에 기반한 가설 검정을 통해 시스템이 정적 단계에 있는지 여부를 판단한다.
• 음수 내적곱의 비율이 임계값 $ q $ 를 초과하면, 시스템은 정적 상태에 있다고 결론 내리며 학습률을 고정된 요소로 감소시킨다.
• 진단은 $ l $ 개의 반복을 포함하는 슬라이딩 윈도우와 다중 진단 윈도우 $ w $ 를 사용하여 통계적 신뢰도를 향상시킨다.
• 학습률 감소는 정적 상태가 감지되었을 때만 발생하며, 비정적 단계에서는 전체 기울기 업데이트를 유지한다.

실험 결과

연구 질문

• RQ1 간단하고 저비용의 진단 메커니즘이 스 tochastic 최적화가 국소 최소점 근처의 정적 단계에 진입했는지 신뢰성 있게 감지할 수 있는가?
• RQ2 기존의 정적 상태 감지 방법과 비교할 때, 제안된 스플리팅 진단의 정확도와 타이밍은 어떠한가?
• RQ3 정적 상태 감지에 기반한 동적 학습률 감소가 볼록 문제와 비볼록 문제 양쪽에서 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?
• RQ4 SplitSGD는 다양한 최적화 작업에서 초기 학습률 선택에 얼마나 강건한가?
• RQ5 SplitSGD는 광범위한 하이퍼파rameter 튜닝 없이 딥 러닝 벤치마크에서 Adam과 같은 적응형 방법을 능가할 수 있는가?

주요 결과

• SplitSGD는 표준 SGD 외에 추가 계산이 필요 없이, 두 개의 독립된 SGD 스레드 간의 기울기 일관성의 부호만을 사용하여 정적 상태를 고도로 정확하게 감지한다.
• 볼록 문제와 CIFAR-10에서 VGG19를 훈련시킨 딥 뉴럴 네트워크를 포함한 다양한 설정에서, Adam과 표준 SGD보다 더 빠른 수렴과 더 나은 일반화 성능을 달성한다.
• VGG19 실험에서 SplitSGD는 수동 튜닝된 SGD와 동일한 테스트 정확도를 달성했지만, 더 적은 에포크 수로 이를 달성하여 샘플 효율성이 향상됨을 보였다.
• SplitSGD는 초기 학습률 선택에 대해 강건하여, 미세조정 없이도 넓은 설정 범위에서 뛰어난 성능을 유지한다.
• 특히 최적점에서 멀리 시작했을 경우, Pflug 진단보다 SplitSGD가 더 일찍 더 정확하게 정적 상태를 감지하는 데 뛰어난 성능을 보였다.
• 정확도 급상승 후 평균화 효과로 인해 학습률 감소 패tern이 명확히 나타나며, 감소된 스텝 크기로 인해 부드러운 수렴이 이루어지는 것으로 나타나, 국소 기하학적 구조에 효과적으로 적응하는 것으로 나타났다.