[논문 리뷰] SGD momentum optimizer with step estimation by online parabola model

Jarek Duda|arXiv (Cornell University)|2019. 07. 16.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 경사 하강법의 모멘텀 프레임워크 내에서 온라인 파라볼라 모델링 접근법을 제안하여, 단지 일阶 도함수만을 사용해 최적의 스텝 사이즈를 추정한다. 모멘텀 방향의 경향을 추적하기 위해 온라인 선형 회귀를 적용함으로써 곡률을 근사하고, 최소한의 계산 오버헤드로 적응형, 2차 유사 스텝 조정을 가능하게 하여 딥러닝의 비볼록 최적화에서 수렴성을 향상시킨다.

ABSTRACT

In stochastic gradient descent, especially for neural network training, there are currently dominating first order methods: not modeling local distance to minimum. This information required for optimal step size is provided by second order methods, however, they have many difficulties, starting with full Hessian having square of dimension number of coefficients. This article proposes a minimal step from successful first order momentum method toward second order: online parabola modelling in just a single direction: normalized $\hat{v}$ from momentum method. It is done by estimating linear trend of gradients $\vec{g}= abla F(\vecθ)$ in $\hat{v}$ direction: such that $g(\vecθ_\bot+θ\hat{v})\approx λ(θ-p)$ for $θ= \vecθ\cdot \hat{v}$, $g= \vec{g}\cdot \hat{v}$, $\vecθ_\bot=\vecθ-θ\hat{v}$. Using linear regression, $λ$, $p$ are MSE estimated by just updating four averages (of $g$, $θ$, $gθ$, $θ^2$) in the considered direction. Exponential moving averages allow here for inexpensive online estimation, weakening contribution of the old gradients. Controlling sign of curvature $λ$, we can repel from saddles in contrast to attraction in standard Newton method. In the remaining directions: not considered in second order model, we can simultaneously perform e.g. gradient descent. There is also discussed its learning rate approximation as $μ=σ_θ/ σ_g$, allowing e.g. for adaptive SGD - with learning rate separately optimized (2nd order) for each parameter.

연구 동기 및 목표

• 딥러닝을 위한 확률적 경사 하강법(SGD)에서 일阶 방법이 곡률 인식을 하지 못하므로, 최적의 스텝 사이즈 선택 문제를 해결하기 위해.
• 온라인 선형 회귀를 사용해 모멘텀 방향의 기울기 경향을 모델링하여, 낮은 비용의 2차 근사 모델을 도입하기 위해.
• 매개변수와 기울기 표준편차의 비율 $\sigma_\theta / \sigma_g$를 통해 적응형 학습률을 가능하게 하여, 역행렬의 대각성분을 근사하기 위해.
• 한 방향에서 곡률 부호 제어를 통해 안장점에 대한 끌림을 감지하고 회피함으로써 수렴성을 향상시키기 위해.
• 계산 비용이 낮고 온라인 방식으로, 일阶 모멘텀의 효율성과 2차 정보의 통찰력을 결합하기 위해.

제안 방법

• 모멘텀 방향 $\hat{v}$ 에서 $\overline{g}$, $\overline{\theta}$, $\overline{g\theta}$, $\overline{\theta^2}$ 의 지수 이동 평균 4개를 사용해 기울기 경향에 대한 온라인 선형 회귀를 수행한다.
• 기울기 $g(\theta) \approx \lambda(\theta - p)$ 를 모멘텀 벡터 $\vec{v}$ 의 방향에서 모델링하며, 여기서 $\lambda$ 는 곡률, $p$ 는 추정된 최소값 위치를 나타낸다.
• 선형 회귀 파rameter에서 유도된 $\eta \propto \lambda^{-1}$ 를 사용해 최적의 스텝 사이즈를 추정함으로써 뉴턴 유사 스텝을 근사한다.
• 학습률 근사 $\mu = \sigma_\theta / \sigma_g$ 를 도입하여 대각형 헤시안 역행렬 근사를 제공함으로써, 매개변수별 적응형 SGD 를 가능하게 한다.
• 곡률 부호 제어를 통해 안장점에 대한 끌림을 방지하고, 모델링된 방향에서 안장점 자유 최적화 행동을 가능하게 한다.
• 최근 기울기의 온라인 주성분 분석(PCA)을 통해 저차원 부분공간을 식별하고, 헤시안 근사를 위한 부분공간을 유지함으로써 고차원으로의 확장을 가능하게 하며, 정규직교 기저를 유지하고 $d \times d$ 헤시안 추정치를 갱신한다.

실험 결과

연구 질문

• RQ1 일阶 도함수만을 사용해, 최소한의 2차 근사 모델을 SGD 모멘텀 프레임워크에 효율적으로 통합할 수 있는가?
• RQ2 한 방향에서 기울기 경향에 대한 온라인 선형 회귀가 안정적이고 적응형 스텝 사이즈 추정치를 제공할 수 있는가? 이는 수렴성을 향상시키는가?
• RQ3 $\sigma_\theta / \sigma_g$ 의 비율이 적응형 학습률을 위한 실용적이고 효과적인 헤시안 대각행렬 역행렬 근사로 기능할 수 있는가?
• RQ4 한 방향에서 곡률 부호 제어가 안장점에서의 끌림을 방지하고 최적화 안정성을 향상시키는 데 기여하는가?
• RQ5 온라인 PCA 를 통해 저차원 부분공간으로의 확장을 유지하면서도 계산 비용을 낮게 유지할 수 있는가?

주요 결과

• 단지 네 개의 온라인 평균만으로도 2차 정보를 획득하여 곡률 인식 스텝 사이즈 추정을 거의 비용 없이 가능하게 한다.
• 학습률 근사 $\mu = \sigma_\theta / \sigma_g$ 는 전체 헤시안 역행렬 역행렬을 대체하는 실용적이고 적응형 대안을 제공하며, 대각형 헤시안 역행렬을 근사한다.
• 곡률 부호 제어를 통해 안장점에 대한 끌림을 방지할 수 있어, 기존 뉴턴 방법의 핵심 한계를 해결한다.
• 표준 모멘텀과 기울기 하강법과의 호환성을 유지하여 하이브리드 최적화 전략을 가능하게 한다.
• 온라인 PCA 를 통해 고차원 부분공간으로의 확장을 지원하며, $d \approx 10$ 차원으로도 주요 헤시안 구조를 충분히 포괄할 수 있다.
• 실험 결과는 온라인 파라볼라 모델이 局소 곡률 경향에 기반해 스텝 사이즈를 적응적으로 조정함으로써 더 빠른 수렴성과 향상된 일반화 성능을 달성할 수 있음을 시사한다.