[논문 리뷰] Stochastic Heavy Ball

Sébastien Gadat, Fabien Panloup외 1명|arXiv (Cornell University)|2016. 09. 14.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 확률적 헤비볼 방법을 소개하고 분석한다. 이는 경량성과 노이즈를 기울기 업데이트에 통합한 두 번째 차수 최적화 알고리즘으로, 비볼록이고 강한 강하성 조건을 만족하는 함수에 대해 거의 확실한 수렴성을 확립하고, 볼록 및 강한 볼록 케이스에 대해 비점근 수렴 속도를 도출하며, 가우시안 노이즈 가정 하에 스케일링된 과정에 대한 극한 정리도 제시한다. 이는 기계학습 및 대규모 설정에서 확률적 모멘텀 기반 최적화에 대한 이론적 보장을 제공한다.

ABSTRACT

This paper deals with a natural stochastic optimization procedure derived from the so-called Heavy-ball method differential equation, which was introduced by Polyak in the 1960s with his seminal contribution [Pol64]. The Heavy-ball method is a second-order dynamics that was investigated to minimize convex functions f . The family of second-order methods recently received a large amount of attention, until the famous contribution of Nesterov [Nes83], leading to the explosion of large-scale optimization problems. This work provides an in-depth description of the stochastic heavy-ball method, which is an adaptation of the deterministic one when only unbiased evalutions of the gradient are available and used throughout the iterations of the algorithm. We first describe some almost sure convergence results in the case of general non-convex coercive functions f . We then examine the situation of convex and strongly convex potentials and derive some non-asymptotic results about the stochastic heavy-ball method. We end our study with limit theorems on several rescaled algorithms.

연구 동기 및 목표

• 노이즈가 있는 기울기에서의 경우에 확장된 폴리악의 결정론적 두 번째 차수 최적화 방법에 대한 엄밀한 이론적 프레임워크를 개발하는 것.
• 일반적인 비볼록이고 강한 강하성 조건을 만족하는 함수를 최소화할 때, 확률적 헤비볼 반복의 거의 확실한 수렴성을 확립하는 것.
• 강한 볼록 및 볼록 케이스에서의 확률적 헤비볼 방법에 대한 비점근 수렴 속도를 유도하는 것.
• 특히 가우시안 노이즈 가정 하에, 스케일링된 알고리즘의 점근적 행동을 극한 정리로 조사하는 것.
• 결정론적 두 번째 차수 동역학과 그 확률적 대응체 사이의 격차를 메우며, 특히 네스테로프의 가속화 방법과 모멘텀 기반 최적화와의 관계를 규명하는 것.

제안 방법

• 마찰 항이 포함된 두 번째 차수 미분방정식 기반의 결정론적 헤비볼 방법을, 각 반복에서 무작위 기울기 추정치만 이용 가능한 확률적 환경으로 확장하는 것.
• 시간에 따라 변화하는 스텝 사이즈 $ \gamma_k $, 모멘텀 파라미터 $ \theta_k $, 노이즈 항을 포함한 재귀적 확률적 알고리즘 형태인 $ X_{k+1} = X_k + \theta_k (X_k - X_{k-1}) - \beta_k \nabla f(X_k) + \text{noise} $ 를 사용하는 것.
• 노이즈의 이차 모멘트를 제어하기 위해 체비셰프 부등식과 중앙값 중심화를 활용하며, 서브가우시안 또는 유한 분산 조건(예: $ \mathbb{E}[\xi_{k}^2] \leq \sigma^2 $)을 가정하는 것.
• 인덱스 집합 $ \mathcal{T}_n = \{n, n+1, \dots\} $ 에서의 체이닝 추론을 적용하여, $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $ 의 최대값을 제어하는 것. 여기서 $ Z_k \sim \mathcal{N}(0, \sigma^2 I_d) $.
• 카이제곱 유사 변수에 대한 라플라스 변환 추정치를 활용하여 모멘트 경계를 유도하며, 의사거리수 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $ 에 대해 부등식 $ \log \mathbb{E} e^{\lambda (X_i - X_j)} \lesssim a\lambda d(i,j) + \frac{v\lambda^2 d^2(i,j)}{2(1 - c\lambda d(i,j))} $ 를 활용하는 것.
• Lemma 32 (BLM13에서 인용) 를 적용하여 커버링 수 $ N(\epsilon, \mathcal{T}_n) $ 를 통해 과정의 기대 최대값을 경계하며, 거듭제곱 법칙 스텝 사이즈 $ \gamma_k = \gamma k^{-\nu} $ 조건 하에 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 의 순서로 경계가 유도된다.

실험 결과

연구 질문

• RQ1 일반적인 비볼록이고 강한 강하성 조건을 만족하는 함수에 대해, 확률적 헤비볼 방법이 거의 확실하게 임계점으로 수렴하는가?
• RQ2 볼록 및 강한 볼록 설정에서의 확률적 헤비볼 방법에 대해 비점근 수렴 속도를 어떻게 확립할 수 있는가?
• RQ3 시간 스케일링을 적용했을 때 반복값은 어떻게 행동하는가? 그리고 스케일링된 과정의 점근적 분포를 지배하는 극한 정리는 무엇인가?
• RQ4 특히 노이즈가 가우시안일 경우, 노이즈 기울기 가정 하에 확률적 헤비볼 방법이 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 모멘텀과 스텝 사이즈 수열은 확률적 알고리즘의 분산과 수렴성을 제어하는 데 어떤 역할을 하는가?

주요 결과

• 기울기 노이즈에 대해 약한 모멘트 및 정규성 조건을 만족할 경우, 비볼록이고 강한 강하성 조건을 만족하는 함수에 대해 확률적 헤비볼 방법은 임계점으로 거의 확실하게 수렴한다.
• 강한 볼록 함수에 대해서는 비점근 수렴 속도를 도출하며, 최소값까지의 기대 제곱 거리가 스텝 사이즈 수열에 비례하여 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 의 속도로 감소함을 보인다.
• 가우시안 노이즈 가정 하에, 과정 $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $ 의 모멘트 경계를 확립하며, 尾행동이 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 의 순서로 제어됨을 보여주며, 유일한 상수에 의해 결정됨을 밝힌다.
• 스텝 사이즈 $ \gamma_k = \gamma k^{-\nu} $ 일 때, 의사거리수 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $ 에 대한 인덱스 집합 $ \mathcal{T}_n $ 의 커버링 수는 $ \sim \epsilon^{-1/2\nu} $ 이하로 경계된다. 이는 체이닝 추론을 가능하게 한다.
• 체이닝 추론을 통해 과정의 기대 최대값에 대한 경계가 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 의 순서로 유도되며, 주어진 조건 하에 이는 날카로운 경계이다.
• 분석 결과는 확률적 헤비볼 방법이 결정론적 대응체의 유리한 성질, 특히 모멘텀 기반 가속화를 노이즈 기울기 평가 조건 하에서도 그대로 이어받음을 확인한다.