[논문 리뷰] Stochastic Approximation of Smooth and Strongly Convex Functions: Beyond the $O(1/T)$ Convergence Rate

Lijun Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|2019. 01. 27.

Risk and Portfolio Optimization인용 수 12

한 줄 요약

이 논문은 스무쓰니스와 강한 볼록성의 특성을 동시에 활용하여 표준 $O(1/T)$ 수렴 속도를 뛰어넘는 더 빠른 수렴을 달성하는 새로운 확률적 근사 알고리즘인 FASA를 제안한다. 에포크 단위로 진행되는 경사 하강법에 적응형 스텝 사이즈를 적용함으로써, $O(1/(\rho T^\beta) + \rho F_*/T)$의 리스크 한계와 지수적 $O(1/2^{T/\rho} + F_*)$ 수렴 속도를 달성하며, $F_* = 0$일 경우 선형 수렴을 이룬다. 이 방법은 가소성 있고, 약한 가정 하에 증명 가능한 효율성을 갖춘다.

ABSTRACT

Stochastic approximation (SA) is a classical approach for stochastic convex optimization. Previous studies have demonstrated that the convergence rate of SA can be improved by introducing either smoothness or strong convexity condition. In this paper, we make use of smoothness and strong convexity simultaneously to boost the convergence rate. Let $\\lambda$ be the modulus of strong convexity, $\\kappa$ be the condition number, $F_*$ be the minimal risk, and $\\alpha>1$ be some small constant. First, we demonstrate that, in expectation, an $O(1/[\\lambda T^\\alpha] + \\kappa F_*/T)$ risk bound is attainable when $T = \\Omega(\\kappa^\\alpha)$. Thus, when $F_*$ is small, the convergence rate could be faster than $O(1/[\\lambda T])$ and approaches $O(1/[\\lambda T^\\alpha])$ in the ideal case. Second, to further benefit from small risk, we show that, in expectation, an $O(1/2^{T/\\kappa}+F_*)$ risk bound is achievable. Thus, the excess risk reduces exponentially until reaching $O(F_*)$, and if $F_*=0$, we obtain a global linear convergence. Finally, we emphasize that our proof is constructive and each risk bound is equipped with an efficient stochastic algorithm attaining that bound.

연구 동기 및 목표

• 표준 확률적 근사(SA) 수렴 속도가 일반적으로 $O(1/T)$임에도 불구하고, 스무쓰니스와 강한 볼록성이 존재할 경우 이에 대한 한계를 해결한다.
• 강한 가정에 의존하거나 유한합 문제에 국한되거나, 비제약 도메인을 요구하는 기존 SA 방법들 사이의 격차를 극복한다.
• 스무쓰니스와 강한 볼록성을 동시에 활용하여, 특히 최소 리스크 $F_*$가 작을 경우 더 빠른 수렴을 달성하는 구조적 알고리즘을 개발한다.
• 기존의 $O(1/T)$를 뛰어넘는 리스크 한계를 도출하고, $F_*$에 따라 $O(1/( ho T^\beta))$ 또는 지수 감소에 가까운 수렴 속도를 달성한다.

제안 방법

• 에포크 경사 하강법(Epoch-GD)에 기반한 빠른 확률적 근사 알고리즘인 FASA를 제안하며, 철저히 설계된 초기 해와 스텝 사이즈를 사용한다.
• 두 단계 전략을 도입: 첫째, $O(1/( ho T^\beta) + \rho F_*/T)$ 리스크 한계를 달성하기 위해 가변 스텝 사이즈 스케줄을 적용하고, 둘째, 고정 스텝 사이즈를 사용해 지수적 수렴을 달성한다.
• 강한 볼록성과 스무쓰니스를 조합하여 조건수 $\rho$를 활용함으로써, 레이저 1을 통한 재귀적 리스크 한계를 통해 에포크 간 기대 초과 리스크를 제어한다.
• 스텝 사이즈 스케줄에 $\beta = 2$를 설정함으로써 리스크 한계의 기하급수적 감소를 유도하여, $O(F_*)$로 수렴하는 지수적 수렴을 가능하게 한다.
• 조건수 $\rho$, 강한 볼록성의 모듈러스 $\rho$, 최소 리스크 $F_*$를 포함하는 부등식을 이용해 이론적 한계를 유도하며, 기대값 기반 수렴을 보장한다.
• 에포크 수에 대한 수학적 귀납법을 통해 증명을 구성함으로써, 각 에포크당 기대 리스크가 $1/2^k$ 비율로 감소함을 보이며, 지수적 수렴으로 이어진다.

실험 결과

연구 질문

• RQ1 스무쓰니스와 강한 볼록성이 모두 존재할 경우, 확률적 근사의 수렴 속도를 $O(1/T)$를 뛰어넘을 수 있는가?
• RQ2 최소 리스크 $F_*$는 스무쓰니스와 강한 볼록성 하에서 확률적 근사의 달성 가능한 수렴 속도에 어떤 영향을 미치는가?
• RQ3 초과 리스크가 $O(F_*)$로 수렴하는 지수적 수렴을 달성하는 구조적 알고리즘을 설계할 수 있는가, 다항식 감소보다 더 빠른 수렴을 얻을 수 있는가?
• RQ4 스무쓰니스와 강한 볼록성이 존재할 경우, $O(1/T)$ 수렴 속도를 뛰어넘는 데 필요한 스텝 사이즈 및 초기화 전략은 무엇인가?
• RQ5 $F_* = 0$일 경우, 이러한 조건 하에서 스트로스틱 알고리즘을 사용해 전역 선형 수렴을 달성할 수 있는가?

주요 결과

• 만약 $T = \tilde{\theta}(\rho^\beta)$ 이고 $\beta > 1$ 이면, 기대값 기반으로 $O(1/(\rho T^\beta) + \rho F_*/T)$ 리스크 한계를 달성할 수 있으며, $F_*$가 작을 경우 $O(1/(\rho T))$보다 향상된다.
• 만약 $F_* = O(1/T^{\beta-1})$ 이면, 수렴 속도는 $O(1/(\rho T^\beta))$로 수렴하며, 이는 $O(1/(\rho T))$보다 더 빠르다.
• 에포크 경사 하강법에서 고정 스텝 사이즈를 사용함으로써 지수적 $O(1/2^{T/\rho} + F_*)$ 리스크 한계를 달성하며, 초과 리스크는 기하급수적으로 감소하여 $O(F_*)$로 수렴한다.
• 만약 $F_* = 0$ 이면, 알고리즘은 전역 선형 수렴을 달성한다. 즉, 초과 리스크는 $O(1/2^{T/\rho})$ 비율로 감소한다.
• 제안된 알고리즘 FASA는 구조적이며 효율적이며, 각 리스크 한계가 직접적으로 작동하는 확률적 알고리즘과 연결되어 있다.
• 이론적 한계는 기대값 기반으로 성립하며, 높은 확률 기반 한계는 농도 이론을 통해 가능하지만, 이 경우 $O(1/T)$ 신뢰 수준 항목이 추가되어 수렴 속도 향상에 제한이 있다.