[논문 리뷰] Stochastic subGradient Methods with Linear Convergence for Polyhedral Convex Optimization

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|2015. 10. 06.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 8

한 줄 요약

이 논문은 다각형 볼록 최적화 문제—비가속성 및 강한 볼록성이 없는 문제이지만 그 에피그래프가 다각형인 문제—에 대해 선형 수렴를 달성하는 새로운 확률적 하향법인 Restarted Stochastic Gradient Descent (RSGD)를 소개한다. 여러 가지 재시작 전략을 통합함으로써 RSGD는 일반적으로 발생하는 하향법의 부분선형 수렴을 극복하며, 이 클래스 문제에 대해 이러한 방법의 첫 번째 선형 수렴 속도 결과를 제시한다.

ABSTRACT

In this paper, we show that simple {Stochastic} subGradient Decent methods with multiple Restarting, named {\bf RSGD}, can achieve a extit{linear convergence rate} for a class of non-smooth and non-strongly convex optimization problems where the epigraph of the objective function is a polyhedron, to which we refer as {\bf polyhedral convex optimization}. Its applications in machine learning include $\ell_1$ constrained or regularized piecewise linear loss minimization and submodular function minimization. To the best of our knowledge, this is the first result on the linear convergence rate of stochastic subgradient methods for non-smooth and non-strongly convex optimization problems.

연구 동기 및 목표

• 비가속성 및 비강한 볼록성 설정에서 확률적 하향법의 선형 수렴 보장을 부족한 문제를 해결하기 위해.
• 비가속성 및 강한 볼록성이 없지만 선형 수렴가능성이 있는 최적화 문제의 클래스—다각형 볼록 문제—를 규명하기 위해.
• 이 클래스 문제에 대해 표준 하향법보다 더 빠른 수렴을 달성하는 실용적이고 이론적으로 타당한 확률적 알고리즘을 개발하기 위해.
• 확률적 하향법의 적용 범위를 $ε$-제약 또는 정규화된 조각별 선형 손실 최소화 및 부분모듈라 함수 최소화와 같은 중요한 머신러닝 문제로 확장하기 위해.

제안 방법

• 반복을 주기적으로 새로운 시작점으로 재설정하는 확률적 하향법의 재시작 변형인 RSGD를 제안한다.
• 감소하는 스텝 사이즈 스케줄과 수렴 모니터링을 기반으로 한 재시작 전략을 사용한다.
• 목적 함수의 에피그래프의 다각형 구조를 활용하여, 각 재시작 후 하향법이 선형으로 수렴하도록 보장한다.
• 목적 함수의 에피그래프가 다각형임을 가정함으로써 수렴 거동을 분석하고 기하학적 성질을 활용한다.
• 대규모 또는 온라인 환경에서의 계산 효율성을 유지하기 위해 확률적 하향법 오라클을 사용한다.
• 최적 해 집합까지의 거리를 기반으로 한 수렴 기준을 도입하여 진전이 멈출 경우 재시작을 유도한다.

실험 결과

연구 질문

• RQ1 확률적 하향법가 비가속성 및 비강한 볼록성 문제에서 선형 수렴를 달성할 수 있는가?
• RQ2 목적 함수에 어떤 구조적 가정이 있을 경우 확률적 하향법의 선형 수렴를 보장할 수 있는가?
• RQ3 다각형 볼록 최적화에서 더 빠른 수렴을 가능하게 하는 재시작 메커니즘을 설계할 수 있는가?
• RQ4 제안된 RSGD 방법이 이 클래스 문제에 대해 표준 확률적 하향법과 비교해 수렴 속도에서 어떻게 다른가?
• RQ5 이 방법의 실용적 함의는 $ε$-정규화된 조각별 선형 손실 최소화와 같은 머신러닝 문제에 대해 무엇인가?

주요 결과

• RSGD는 비가속성 및 비강한 볼록성 목적 함수를 포함하는 다각형 볼록 최적화 문제에서 선형 수렴 속도를 달성한다.
• 이것은 강한 볼록성과 가속성 없이도 확률적 하향법에 대해 선형 수렴를 보장하는 것으로 알려진 첫 번째 결과이다.
• 이 방법은 $ε$-제약 또는 정규화된 조각별 선형 손실 최소화와 같은 머신러닝 문제에 적용 가능하다.
• 각 재시작 이후 반복 수에 대해 선형 수렴 속도를 보이며, 표준 확률적 하향법의 부분선형 수렴 속도보다 뚜렷이 빠르다.
• 재시작 메커니즘이 느린 수렴 단계를 벗어나 문제의 다각형 구조를 활용한다.
• 표준 확률적 하향법 오라클과 목적 함수의 다각형 구조에 대한 일반적인 가정 하에 이론적 보장이 유지된다.