[논문 리뷰] RSG: Beating Subgradient Method without Smoothness and Strong Convexity

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|2015. 12. 09.

Advanced Optimization Algorithms Research인용 수 10

한 줄 요약

이 논문은 비미분 가능하고 강볼록도 아닌 최적화 문제에서 표준 서브그래디언트 방법보다 수렴 성능을 크게 향상시키는 리스타트 서브그래디언트(RSG) 방법을 제안한다. 점차 감소하는 스텝 사이즈로 주기적으로 리스타트하면서 局부 오차 유계 조건을 활용함으로써, 미분 가능성이나 강볼록성 조건 없이도 더 나은 반복 복잡도를 달성한다. 예를 들어 국소적으로 이차적으로 증가하는 함수의 경우 O(1/ε log(1/ε))의 복잡도를, Kurdyka-Łojasiewicz 성질을 만족하는 함수의 경우 O(1/ε^{2β} log(1/ε))의 복잡도를 달성한다.

ABSTRACT

In this paper, we study the efficiency of a {\bf R}estarted {\bf S}ub{\bf G}radient (RSG) method that periodically restarts the standard subgradient method (SG). We show that, when applied to a broad class of convex optimization problems, RSG method can find an $ε$-optimal solution with a lower complexity than the SG method. In particular, we first show that RSG can reduce the dependence of SG's iteration complexity on the distance between the initial solution and the optimal set to that between the $ε$-level set and the optimal set {multiplied by a logarithmic factor}. Moreover, we show the advantages of RSG over SG in solving three different families of convex optimization problems. (a) For the problems whose epigraph is a polyhedron, RSG is shown to converge linearly. (b) For the problems with local quadratic growth property in the $ε$-sublevel set, RSG has an $O(\frac{1}ε\log(\frac{1}ε))$ iteration complexity. (c) For the problems that admit a local Kurdyka-Łojasiewicz property with a power constant of $β\in[0,1)$, RSG has an $O(\frac{1}{ε^{2β}}\log(\frac{1}ε))$ iteration complexity. The novelty of our analysis lies at exploiting the lower bound of the first-order optimality residual at the $ε$-level set. It is this novelty that allows us to explore the local properties of functions (e.g., local quadratic growth property, local Kurdyka-Łojasiewicz property, more generally local error bound conditions) to develop the improved convergence of RSG. { We also develop a practical variant of RSG enjoying faster convergence than the SG method, which can be run without knowing the involved parameters in the local error bound condition.} We demonstrate the effectiveness of the proposed algorithms on several machine learning tasks including regression, classification and matrix completion.

연구 동기 및 목표

• 비미분 가능하고 강볼록이 아닌 최적화 문제에서 표준 서브그래디언트 방법의 열악한 수렴 성능을 해결하기 위해.
• 미분 가능성이나 강볼록성 조건 없이도 더 빠른 수렴을 달성하는 서브그래디언트 방법의 리스타트 변종을 개발하기 위해.
• 국소 오차 유계, 이차 증가, Kurdyka-Łojasiewicz 조건과 같은 국소적 성질을 활용하여 향상된 반복 복잡도 상한을 도출하기 위해.
• 국소 오차 유계 파ameter에 대한 사전 지식이 필요 없는 실용적이고 파ameter-free인 RSG 변종을 설계하기 위해.
• 회귀, 분류, 행렬 완성 등의 머신러닝 과제에서 RSG의 효과성을 실증적으로 검증하기 위해.

제안 방법

• RSG 방법은 여러 단계로 나뉘며, 각 단계는 고정된 상수 스텝 사이즈로 투영 서브그래디언트 하강을 수행한다.
• 스텝 사이즈는 단계 간에 기하급수적으로 감소하며, 각 단계는 이전 단계의 해에서 온난 스타트된다.
• ε-하위레벨 집합에서의 일阶 최적성 잔여항의 하한을 활용하여 향상된 수렴 보장을 도출한다.
• 국소 오차 유계 조건을 만족하는 문제에 대해 일반적인 복잡도 분석을 개발하였으며, 이는 기존의 오차 유계 및 성장 조건을 일반화한다.
• 국소 오차 유계 상수의 지식이 필요 없이 리스타트 빈도를 적응적으로 조정함으로써 RSG의 파ameter-free 변종을 제안한다.
• 이론적 분석는 Kurdyka-Łojasiewicz 부등식과 서브미니멀의 메트릭 하향성에 기반하여 국소 기하학적 성질과 수렴 속도를 연결한다.

실험 결과

연구 질문

• RQ1 비미분 가능하고 강볼록이 아닌 문제에서, 미분 가능성이나 강볼록성 조건 없이도 서브그래디언트 방법의 리스타트가 수렴 복잡도 향상에 기여할 수 있는가?
• RQ2 국소 오차 유계 조건 하에서 RSG 방법의 반복 복잡도는 표준 서브그래디언트 방법보다 어떻게 비교되는가?
• RQ3 국소 이차 증가 또는 Kurdyka-Łojasiewicz 성질을 만족하는 문제에서 RSG의 수렴 속도는 어떠한가?
• RQ4 국소 문제 구조에 대한 사전 지식 없이도 빠른 수렴 성능을 유지할 수 있는 실용적이고 파ameter-free인 RSG 변종을 설계할 수 있는가?
• RQ5 회귀, 분류, 행렬 완성과 같은 실제 머신러닝 과제에서 RSG는 기존의 서브그래디언트 방법을 능가하는가?

주요 결과

• RSG는 최적 집합까지의 초기 거리에 대한 반복 복잡도 의존성을 O(1/ε²)에서 O(1/ε² log(ε₀/ε))로 감소시킨다. 여기서 ε₀는 초기 최적성 갭이다.
• 국소적으로 이차적으로 증가하는 함수의 경우, RSG는 O(1/ε log(1/ε))의 반복 복잡도를 달성하며, 이는 표준 서브그래디언트 방법보다 크게 향상된 성능이다.
• 국소 Kurdyka-Łojasiewicz 성질을 만족하고 전력 상수 β ∈ [0,1)를 갖는 함수의 경우, RSG는 O(1/ε^{2β} log(1/ε))의 반복 복잡도를 달성한다.
• 함수 f의 에피그래프가 다각형일 경우, RSG는 O(log(1/ε))의 반복 복잡도로 선형 수렴을 달성한다.
• 제안된 파ameter-free 변종 RSG는 표준 서브그래디언트 방법보다 더 빠른 수렴 속도를 보이며, 실질적으로 Freund & Lu의 SG 알고리즘과 경쟁 가능하다.
• 회귀, 분류, 행렬 완성 과제에 대한 실증 결과는 RSG가 수렴 속도와 목적함수 값 감소 측면에서 표준 서브그래디언트 방법을 능가함을 확인한다.