[논문 리뷰] RSG: Beating SGD without Smoothness and/or Strong Convexity

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|2015. 12. 09.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 비미분 및/또는 비강한볼록 최적화 문제에서 기존의 SGD보다 향상된 반복 복잡도를 달성하기 위해 局소적 성질(예: 국소적 반강력볼록성 및 (Kurdyka)-Łojasiewicz 성질)을 활용하는 Restarted Stochastic Subgradient (RSG) 방법을 제안한다. 국소적 반강력볼록성 하에서 RSG는 $O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$의 복잡도를 달성하고, $\beta$-거듭제곱 Łojasiewicz 조건 하에서는 $O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$의 복잡도를 달성하며, 이는 SGD의 $O(\frac{1}{\epsilon^2})$ 비율을 능가한다.

ABSTRACT

In this paper, we propose a novel {\bf R}estarted {\bf S}tochastic sub{\bf G}radient (RSG) method that can find an $\epsilon$-optimal solution for a broad class of non-smooth and/or non-strongly convex optimization problems with a lower iteration complexity than vanilla stochastic subgradient descent (SGD). In particular, for general non-smooth and non-strongly convex optimization, RSG reduces the dependence of SGD's iteration complexity on the distance to the optimal set of the initial solution to that of points on the $\epsilon$-level set. For a special family of non-smooth and non-strongly convex optimization problems whose epigraph is a polyhedron, we further show that RSG could converge linearly. In addition, RSG has an $O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$ iteration complexity for problems with a much weaker notion of strong convexity, namely locally semi-strongly convexity. For a family of (non-) smooth optimization problems that admit a local (Kurdyka-) \L ojasiewicz property with a power constant of $\beta\in(0,1)$, RSG has an $O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$ iteration complexity, which is better that that of SGD for such optimization problems whose iteration complexity is $O(\frac{1}{\epsilon^2})$. The novelty of our analysis lies at exploiting the lower bound of the subgradient or gradient of the objective function at the $\epsilon$-level set. It is this novelty that allows us to explore the local properties of functions (e.g., local semi-strong convexity, local (Kurdyka-) \L ojasiewicz property, more generally local error bounds) to develop improved convergence of RSG.

연구 동기 및 목표

• 비미분 및 비강력볼凸 최적화 설정에서 스토하스틱 서브그래디언트 디센트(SGD)의 높은 반복 복잡도 문제를 해결하기 위해.
• ε-레벨 세트의 성질을 활용하여 최적 집합까지의 초기 거리에 대한 의존도를 줄이기 위해.
• 약한 볼록성 또는 오차 경계 구조를 가진 문제에서 SGD보다 더 빠른 수렴 속도를 달성하기 위해.
• ε-레벨 세트에서 서브그래디언트의 하한을 활용하여 반복 복잡도의 개선된 경계를 수립하기 위해.

제안 방법

• 주기적인 재시작을 통합하여 수렴을 가속화하는 Restarted Stochastic Subgradient (RSG) 방법을 제안한다.
• ε-레벨 세트 내의 점들에서 서브그래디언트의 하한에 기반한 새로운 분석 기법을 활용한다.
• 현재 반복점이 ε-레벨 세트에 진입할 경우 재시작을 적용하여 목적 함수의 국소적 정규성 특성을 활용한다.
• 국소 오차 경계, 특히 β ∈ (0,1)인 거듭제곱 상수를 가진 (Kurdyka)-Łojasiewicz 성질을 활용하여 향상된 수렴 속도를 유도한다.
• 전역 가정이 아닌 목적 함수의 국소 기하학적 구조에 따라 반복 복잡도 경계를 유도한다.
• 비미분 및 비강력볼凸 문제에 대해 약한 볼록성 구조를 가진 문제에 대해 수렴 보장을 일반화하는 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 비미분 및 비강력볼凸 문제에서 스토하스틱 서브그래디언트 방법이 SGD보다 더 낮은 반복 복잡도를 달성할 수 있는가?
• RQ2 RSG 방법은 국소적 성질인 국소적 반강력볼凸성과 같은 성질을 어떻게 활용하여 수렴을 향상시키는가?
• RQ3 β ∈ (0,1)인 거듭제곱 상수를 가진 (Kurdyka)-Łojasiewicz 조건 하에서 RSG의 반복 복잡도는 얼마인가?
• RQ4 에피그래프가 다각형인 문제의 클래스에 대해 RSG가 선형 수렴을 달성할 수 있는가?
• RQ5 RSG에서 최적 집합까지의 초기 거리에 대한 의존성은 기존의 SGD와 비교하여 어떻게 다른가?

주요 결과

• RSG는 ε-레벨 세트 위의 점들에서의 거리와 관련지어 최적 집합까지의 초기 거리에 대한 반복 복잡도 의존도를 줄인다.
• 에피그래프가 다각형인 문제의 경우, 비미분성과 강력볼凸성의 부재에도 불구하고 RSG는 선형 수렴을 달성한다.
• 국소적 반강력볼凸 조건 하에서 RSG는 $O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$의 반복 복잡도를 달성하며, 이는 SGD의 $O(\frac{1}{\epsilon^2})$ 비율을 초월한다.
• β ∈ (0,1)인 β-거듭제곱 (Kurdyka)-Łojasiewicz 조건을 만족하는 문제에 대해서는 RSG가 $O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$의 반복 복잡도를 달성하며, β < 1/2일 경우 SGD의 $O(\frac{1}{\epsilon^2})$ 비율보다 더 빠르다.
• 핵심 혁신은 ε-레벨 세트에서 서브그래디언트의 하한을 활용하여 국소적 함수 기하학을 추론하고 더 탴한 수렴 경계를 도출하는 데 있다.