[논문 리뷰] A High Probability Analysis of Adaptive SGD with Momentum

Xiaoyu Li, Francesco Orabona|OpenBU (Boston University)|2020. 07. 28.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 비볼록 설정에서 강력한 가정 없이, 즉 유한한 기울기 대신 서브가우시안 기울기 노이즈를 가정할 때, 동적 스케일링 기울기 하강법에 관성 항을 도입한 경우에 대해 최초로 고확률 수렴 분석을 제시한다. 특히 지연된 AdaGrad에 관성 항을 적용한 알고리즘은 고확률로 기울기가 0으로 수렴하며, 노이즈 수준에 따라 적응형 학습률을 갖는다.

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are the most used algorithms in machine learning applications. In particular, SGD with adaptive learning rates and momentum is the industry standard to train deep networks. Despite the enormous success of these methods, our theoretical understanding of these variants in the nonconvex setting is not complete, with most of the results only proving convergence in expectation and with strong assumptions on the stochastic gradients. In this paper, we present a high probability analysis for adaptive and momentum algorithms, under weak assumptions on the function, stochastic gradients, and learning rates. We use it to prove for the first time the convergence of the gradients to zero in high probability in the smooth nonconvex setting for Delayed AdaGrad with momentum.

연구 동기 및 목표

• 비볼록 최적화에서 동적 스케일링 기울기 하강법에 관성 항을 도입한 경우에 대해 고확률 수렴 보장을 제공하지 못하는 문제를 해결하기 위해.
• 이전 연구들이 유한한 확률적 기울기와 같은 강력한 가정에 의존하는 한계를 극복하기 위해.
• 딥 러닝 응용 분야에서 매우 중요한 단일 알고리즘 실행에 대한 신뢰할 수 있는 성능 보장을 보장하는 이론적 한계를 제공하기 위해.
• 함수의 미세함과 기울기 노이즈에 대한 최소한의 가정 하에 지연된 AdaGrad에 관성 항을 도입한 경우의 고확률 수렴을 확립하기 위해.
• 기울기의 노이즈 수준에 따라 수렴 속도가 자동 조정되어 실용적 내구성이 향상됨을 보여주기 위해.

제안 방법

• 일반화된 프리드먼 유형 부등식을 사용하여 관성 항이 포함된 확률적 최적화에 대해 고확률 수렴 한계를 유도한다.
• 스텝 사이즈 $ O(1/\tfrac{1}{\sqrt{t}}) $를 갖는 관성 항이 포함된 기울기 하강법을 분석하여, 비볼록 설정에서 기울기가 고확률로 0으로 수렴함을 증명한다.
• 기울기 노이즈에 서브가우시안 가정을 활용하여 동적 방법에 대한 새로운 분석 프레임워크를 제안함으로써, 기울기가 유한하지 않은 경우에도 분석이 가능하도록 한다.
• 레퍼런스 7과 레퍼런스 8을 적용하여 노이즈 및 관성 파rameter를 포함하는 재귀 부등식을 통해 제곱 기울기 합의 상한을 구한다.
• 고확률 상한을 유도하기 위해 $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $의 상한을 유도하며, 이를 통해 기울기가 0으로 수렴함을 증명한다.
• 관성 업데이트 규칙을 $ \mu \in (0,1) $와 함께 사용하고, 적응형 학습률 $ \eta_t = \alpha / \sqrt{\beta + \sum_{s=1}^{t-1} g_{s,i}^2} $를 적용하여 노이즈 적응형 행동을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 동적 스케일링 기울기 하강법에 관성 항을 도입한 경우에 대해 고확률 수렴 보장을 확립할 수 있는가?
• RQ2 유한한 기울기 대신 서브가우시안 기울기 노이즈 가정과 같은 약한 조건 하에서도 분석이 유지되는가?
• RQ3 수렴 속도가 실제 확률적 기울기의 노이즈 수준에 따라 자동 조정될 수 있는가?
• RQ4 관성 항의 포함이 동적 방법의 고확률 수렴 행동에 어떤 영향을 미치는가?
• RQ5 동적 관성 방법에 대해 제곱 기울기 합에 대한 비점근적 고확률 수렴 한계를 유도할 수 있는가?

주요 결과

• 이 논문은 지연된 AdaGrad에 관성 항을 도입한 경우에 대해, 매끄러운 비볼록 설정에서 최초로 기울기가 고확률로 0으로 수렴함을 증명한다.
• 수렴 속도는 $ O\left(\frac{1}{\alpha} + \frac{d(\alpha + \sigma^2(\alpha \ln \frac{T}{\delta} + \frac{\ln \frac{1}{\delta}}{1-\mu}))}{1-\mu} \right) $이며, 여기서 $ \sigma^2 $는 노이즈 수준을 제어한다.
• 유도된 수렴 한계는 노이즈 수준에 따라 자동 조정되며, 노이즈가 감소할수록 수렴 속도가 향상된다.
• 분석은 서브가우시안 기울기 노이즈 가정 하에 성립하며, 기울기가 무한할 수 있도록 허용하고, 이전 연구에서 흔히 사용되는 강력한 유한성 가정을 피한다.
• 다중 독립 실행에 의존하지 않고 고확률 수렴 한계를 도출함으로써, 딥 러닝에서의 단일 실행 훈련에 적합한 결과를 도출한다.
• 유도된 $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $의 상한은 $ \min_{1 \leq t \leq T} \|\nabla f(\boldsymbol{x}_t)\|^2 \to 0 $ 이고, $ T \to \infty $ 일 때 고확률로 수렴함을 보여준다.