[논문 리뷰] Accelerate Stochastic Subgradient Method by Leveraging Local Growth Condition

Yi Xu, Qihang Lin외 1명|arXiv (Cornell University)|2016. 07. 04.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 10

한 줄 요약

이 논문은 비미분 가능하고 볼록인 목적 함수를 가진 최적화 문제에서 局소 성장 조건을 활용하여 확률적 하향법의 수렴 속도를 향상시키는 방법을 제안한다. 정규화된 목적 함수 $ F_{\lambda}(\boldsymbol{w}) = F(\boldsymbol{w}) + \frac{\lambda}{2}\|\boldsymbol{w} - \boldsymbol{w}_*\|^2 $ 를 도입함으로써 국소 오차 경계 조건 하에서 더 빠른 수렴을 달성하며, $ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 를 증명함으로써 더 엄밀한 수렴 보장을 가능하게 하고 샘플 효율성을 향상시킨다.

ABSTRACT

In this paper, a new theory is developed for first-order stochastic convex optimization, showing that the global convergence rate is sufficiently quantified by a local growth rate of the objective function in a neighborhood of the optimal solutions. In particular, if the objective function $F(\mathbf w)$ in the $ε$-sublevel set grows as fast as $\|\mathbf w - \mathbf w_*\|_2^{1/θ}$, where $\mathbf w_*$ represents the closest optimal solution to $\mathbf w$ and $θ\in(0,1]$ quantifies the local growth rate, the iteration complexity of first-order stochastic optimization for achieving an $ε$-optimal solution can be $\widetilde O(1/ε^{2(1-θ)})$, which is optimal at most up to a logarithmic factor. To achieve the faster global convergence, we develop two different accelerated stochastic subgradient methods by iteratively solving the original problem approximately in a local region around a historical solution with the size of the local region gradually decreasing as the solution approaches the optimal set. Besides the theoretical improvements, this work also includes new contributions towards making the proposed algorithms practical: (i) we present practical variants of accelerated stochastic subgradient methods that can run without the knowledge of multiplicative growth constant and even the growth rate $θ$; (ii) we consider a broad family of problems in machine learning to demonstrate that the proposed algorithms enjoy faster convergence than traditional stochastic subgradient method. We also characterize the complexity of the proposed algorithms for ensuring the gradient is small without the smoothness assumption.

연구 동기 및 목표

• 비미분 가능 볼록 최적화에서 확률적 하향법의 수렴 속도를 향상시키는 것.
• 오차 경계 등의 국소 성장 조건을 활용하여 표준 하향법을 초월한 수렴 가속화를 이루는 것.
• 국소 오차 경계 조건 하에서 정규화된 목적 함수와 최적 해 사이의 이론적 연결 고리를 확립하는 것.
• $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 와 $ F(\mathbf{w}_*) $ 의 관계를 분석하여 더 엄밀한 수렴 보장을 도출하는 것.

제안 방법

• 국소 곡률과 성장 조건을 활용하기 위해 정규화된 목적 함수 $ F_{\lambda}(\mathbf{w}) = F(\mathbf{w}) + \frac{\lambda}{2}\|\mathbf{w} - \mathbf{w}_*\|^2 $ 를 도입한다.
• $ \widetilde{\mathbf{w}}_* \in \widetilde{\mathcal{K}}_* $ 를 $ F_{\lambda} $ 의 최소화자로 정의하여 진짜 최소화자 $ \mathbf{w}_* $ 와 연결한다.
• $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ 를 이용해 부적합도를 경계한다.
• $ \widehat{\mathbf{v}} $ 에 대한 이중 최소화를 통해 $ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 의 동치성을 증명함으로써 국소 성장 조건 하에서 일致성을 입증한다.
• $ F_{\lambda} $ 의 미분 가능성에 기반하여 수렴 성질을 도출함으로써 정규화를 통해 수렴 속도를 가속화할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 비미분 가능 볼록 최적화에서 국소 성장 조건을 활용하여 확률적 하향법의 수렴 속도를 가속화할 수 있는가?
• RQ2 국소 오차 경계 조건 하에서 $ F_{\lambda} $ 를 통한 정규화는 진짜 최적 해 $ \mathbf{w}_* $ 와 어떻게 관련이 있는가?
• RQ3 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 와 $ F(\mathbf{w}_*) $ 의 관계는 무엇이며, 이를 통해 수렴 분석을 더 엄밀하게 만들 수 있는가?
• RQ4 국소 성장 조건 하에서 $ F_{\lambda} $ 의 최소화자는 진짜 최소화자 $ \mathbf{w}_* $ 를 복구하거나 근사하는 데 사용될 수 있는가?

주요 결과

• 정규화된 문제의 최적 해 $ \widetilde{\mathbf{w}}_* $ 는 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) = F(\mathbf{w}_*) $ 를 만족함으로써 국소 성장 조건 하에서 동치성을 입증한다.
• 모든 $ \mathbf{v}, \mathbf{w} \in \mathcal{K} $ 에 대해 부등식 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ 가 성립하여 엄밀한 부적합도 경계를 가능하게 한다.
• $ \mathbf{v} = \mathbf{w} = \mathbf{w}_* $ 를 설정함으로써 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F(\mathbf{w}_*) $ 가 성립함을 보여 정규화된 목적 함수의 상한을 확립한다.
• $ \widehat{\mathbf{v}} = \arg\min_{\mathbf{v} \in \mathcal{K}} \{ F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \widetilde{\mathbf{w}}_*\|^2 \} $ 를 정의하면 $ F(\mathbf{w}_*) \leq F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 가 도출되어 등식이 완성된다.