[논문 리뷰] The Complexity of Finding Stationary Points with Stochastic Gradient Descent

Yoel Drori, Ohad Shamir|arXiv (Cornell University)|2019. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 스무딩된, 가능하면 비볼록 최적화에서 정류점(Stationary points)을 찾기 위한 확률적 경사 하강법(SGD)의 반복 복잡도에 대한 기본 하한을 설정한다. 이는 립시츠 헤시안, 산란성 노이즈, 유한한 차원 등의 추가 가정 없이도, 고임과 란의 $\epsilon^{-4}$ 복잡도 하한이 날카로워지며, 이는 조건이 충족되지 않으면 SGD가 표준 기준 하에 $\epsilon^{-4}$ 이하 수렴을 달성할 수 없음을 시사한다. 이는 조건이 충족되지 않으면 $\epsilon^{-4}$ 이하 수렴을 달성할 수 없음을 의미한다.

ABSTRACT

We study the iteration complexity of stochastic gradient descent (SGD) for minimizing the gradient norm of smooth, possibly nonconvex functions. We provide several results, implying that the $\mathcal{O}(ε^{-4})$ upper bound of Ghadimi and Lan~\cite{ghadimi2013stochastic} (for making the average gradient norm less than $ε$) cannot be improved upon, unless a combination of additional assumptions is made. Notably, this holds even if we limit ourselves to convex quadratic functions. We also show that for nonconvex functions, the feasibility of minimizing gradients with SGD is surprisingly sensitive to the choice of optimality criteria.

연구 동기 및 목표

• 최소 경사 노름을 최소화하기 위한 SGD의 $\epsilon^{-4}$ 반복 복잡도를 더 향상시킬 수 있는가를 규명하는 것.
• 립시츠 헤시안, 산란성 노이즈, 유한한 차원 등의 가정이 $\epsilon^{-4}$ 장벽을 깨는 데 필요한 조건은 무엇인지 규명하는 것.
• 특히 비볼록 설정에서 최적성 기준에 대한 SGD 수렴 민감도를 분석하는 것.
• 고정 또는 점점 감소하는 스텝 사이즈를 사용하는 표준 SGD가 최소 경사 노름을 최소화할 때 $\epsilon^{-4}$ 이하의 복잡도를 달성할 수 없다는 것을 입증하는 것.

제안 방법

• 가우시안 노이즈가 첨가된 볼록 2차 함수를 사용하여 T회 반복 후 기대 최소 경사 노름에 대한 하한을 유도한다.
• 특정 문제 예시를 구성하여 $L$-립시츠 경사 노름과 유한한 초기 부적합도 $\Delta$를 가진 경우에 SGD의 행동을 분석한다.
• 확률적 추론을 통해 $\min_t \|\nabla f(x_t)\|^2$ 가 강한 가정이 성립하지 않는 한 높은 확률로 0에서 멀리 떨어져 있음을 보여준다.
• 두 가지 핵심 보조정리를 적용한다: 하나는 최소 경사 노름을 $\Delta$와 총 스텝 크기로 바ounds하는 것, 다른 하나는 일정하거나 천천히 감소하는 스텝 사이즈에 대한 것.
• 일정, 감소, 적응형 스텝 사이즈 스케줄을 고려하여 표준 SGD 변형 전반에 걸쳐 하한이 견고하게 유지됨을 보여준다.
• 랜덤화 또는 평균 경사 노름과 같은 대체 기준(예: 평균 경사 노름)을 사용하지 않으면, 표준 집계 방식 하에서는 유한한 차원에 관계없이 하한이 존재하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 최소 경사 노름을 최소화하기 위한 SGD의 $\epsilon^{-4}$ 반복 복잡도를 추가 가정 없이 향상시킬 수 있는가?
• RQ2 표준 SGD와 가우시안 노이즈 하에서, 볼록 2차 함수에 대해서도 $\epsilon^{-4}$ 하한이 날카로운가?
• RQ3 립시츠 헤시안, 산란성 노이즈, 유한한 차원 등의 가정이 더 빠른 수렴을 가능하게 하는 역할은 무엇인가?
• RQ4 집계 없이 고차원에서 SGD의 최소 경사 노름은 왜 부적절한 최적성 기준인가?
• RQ5 고정 또는 점점 감소하는 스텝 사이즈를 사용하는 표준 SGD가 $\min_t \|\nabla f(x_t)\|$ 를 최소화할 때 $\epsilon^{-4}$ 이하의 복잡도를 달성할 수 있는가?

주요 결과

• 가우시안 노이즈가 첨가된 볼록 2차 함수에 대해, 최적의 스텝 사이즈를 사용하더라도 SGD는 $\min_t \|\nabla f(x_t)\|$ 를 최소화할 때 $\Omega(\epsilon^{-4})$ 이하의 반복 복잡도를 달성할 수 없다.
• 유한한 차원이 보장되지 않으면, 최소 경사 노름을 최소화하기 위한 어떤 결정론적 집계 방법도 유한한 복잡도 하한을 달성할 수 없다. 이는 볼록 2차 함수에 대해서조차 마찬가지다.
• 립시츠 헤시안이나 산란성 노이즈 없이도 $\Omega(\epsilon^{-4})$ 하한이 유지되며, 이는 집계가 사용되지 않는 한 성립한다.
• 집계 없이도 산란성 노이즈와 립시츠 헤시안이 존재할 경우, $\min_t \|\nabla f(x_t)\|$ 를 최소화할 때 복잡도는 $\Omega(\epsilon^{-3})$ 이다.
• 일정하거나 천천히 감소하는 스텝 사이즈를 사용할 경우, 최소 경사 노름은 $\Omega(\sigma^2)$ 이하로 바운드되며, 이는 $\sigma \to 0$ 이 되지 않는 한 0으로 수렴하지 않음을 의미한다. 이는 실용적으로는 실현 불가능하다.
• 고확률 하에서 $\min_t \|\nabla f(x_t)\|^2 \geq c \cdot \min\{L\Delta, \sigma^2\}/\sqrt{T}$ 하한이 성립하며, 이는 표준 SGD 설정 하에서 $\epsilon^{-4}$ 가 피할 수 없음을 입증한다.