[논문 리뷰] Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than $O(1/\epsilon)$

Yi Xu, Yan Yan외 2명|arXiv (Cornell University)|2016. 07. 13.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 최대 구조를 가진 비미분 가능 볼록 최적화 문제를 위한 새로운 1차 수준 알고리즘인 호모토피 스무딩(HOPS)을 제안한다. 이는 단계별로 스무딩 파라미터를 적응적으로 감소시킴으로써 기존의 O(1/ε)보다 낮은 Õ(1/ε¹⁻ᶿ)의 반복 복잡도를 달성한다. 방법은 네스테로프의 스무딩 기법과 호모토피 연속, 온난 스타트를 조합하여, TV 노이즈 제거 및 저질서 행렬 복원과 같은 문제에서 국소 오차 경계를 활용해 수렴 속도를 가속화한다.

ABSTRACT

In this paper, we develop a novel {\bf ho}moto{\bf p}y {\bf s}moothing (HOPS) algorithm for solving a family of non-smooth problems that is composed of a non-smooth term with an explicit max-structure and a smooth term or a simple non-smooth term whose proximal mapping is easy to compute. The best known iteration complexity for solving such non-smooth optimization problems is $O(1/\epsilon)$ without any assumption on the strong convexity. In this work, we will show that the proposed HOPS achieved a lower iteration complexity of $\widetilde O(1/\epsilon^{1- heta})$\footnote{$\widetilde O()$ suppresses a logarithmic factor.} with $ heta\in(0,1]$ capturing the local sharpness of the objective function around the optimal solutions. To the best of our knowledge, this is the lowest iteration complexity achieved so far for the considered non-smooth optimization problems without strong convexity assumption. The HOPS algorithm employs Nesterov's smoothing technique and Nesterov's accelerated gradient method and runs in stages, which gradually decreases the smoothing parameter in a stage-wise manner until it yields a sufficiently good approximation of the original function. We show that HOPS enjoys a linear convergence for many well-known non-smooth problems (e.g., empirical risk minimization with a piece-wise linear loss function and $\ell_1$ norm regularizer, finding a point in a polyhedron, cone programming, etc). Experimental results verify the effectiveness of HOPS in comparison with Nesterov's smoothing algorithm and the primal-dual style of first-order methods.

연구 동기 및 목표

• 비강한 볼록성 조건이 없을 때 기존 O(1/ε)의 높은 반복 복잡도 문제를 해결하기 위해.
• 최대 구조를 가진 문제에 대해 O(1/ε)보다 낮은 복잡도를 달성하는 1차 방법을 개발하기 위해.
• 비미분 가능 문제에 대한 호모토피 기반 스무딩 전략의 수렴 보장을 체계화하기 위해.
• 실세계 문제인 총변동성 노이즈 제거 및 저질서 행렬 분해에 HOPS의 효과성을 입증하기 위해.

제안 방법

• 스무딩 파라미터 µ를 큰 값에서 작은 값으로 점진적으로 감소시키는 단계별 호모토피 전략을 제안한다.
• 비미분 가능 함수 f(x) = max_{u∈Ω₂} ⟨Ax, u⟩ − φ(u)를 매끄럽게 근사하기 위해 네스테로프의 스무딩 기법을 적용한다.
• 각 스무딩 하위문제를 온난 스타트된 이전 단계에서의 초기값을 활용해 네스테로프의 가속 경사 하강법으로 해결한다.
• 수렴 분석에서 곱계수를 제한하기 위해 전역 오차 부등식(보조정리 1)과 국소 오차 경계 조건을 활용한다.
• 가속 경사 하강법에서 적응적 스텝 사이즈 선택을 위해 백트래킹 선 탐색을 사용한다.
• 이중 프로그래밍 프레임워크와 호모토피 전략을 통합하여 PD-HOPS 변종에서 병렬 이중 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 호모토피 기반 스무딩 전략은 비미분 가능 문제에 대해 O(1/ε)보다 낮은 반복 복잡도를 달성할 수 있는가?
• RQ2 국소 오차 경계 조건 하에서 매개변수 θ ∈ (0,1]을 갖는 HOPS의 이론적 수렴 속도는 무엇인가?
• RQ3 HOPS는 네스테로프의 스무딩 및 이중 프로그래밍 방법과 비교해 수렴 속도와 반복 횟수에서 어떻게 다른가?
• RQ4 HOPS는 TV 노이즈 제거 및 행렬 분해와 같은 잘 알려진 비미분 가능 문제에서 선형 수렴을 달성할 수 있는가?
• RQ5 온난 스타트와 단계별 스무딩을 사용하면 단일 작은 µ 스무딩 접근법에 비해 총 반복 수를 줄일 수 있는가?

주요 결과

• HOPS는 비강한 볼록성 조건이 없을 때 기존의 O(1/ε)보다 엄격히 낮은 Õ(1/ε¹⁻ᶿ)의 반복 복잡도를 달성한다.
• 이 방법은 총변동성 노이즈 제거, 코너 프로그래밍, 조각별 선형 손실을 가진 경험적 위험 최소화 문제와 같은 문제에서 선형 수렴을 보인다.
• TV 노이즈 제거 실험에서 HOPS는 APG 및 PD 변종보다 특히 작은 ε에서 뚜렷이 더 빠르게 수렴한다.
• 저질서 행렬 분해 문제에서 자동 에포크 튜닝을 적용한 PD-HOPS는 수동 튜닝을 사용한 HOPS보다 뛰어나며, 표준 PD보다 훨씬 빠르게 작동한다.
• 온난 스타트를 활용한 호모토피 전략은 하나의 매우 정확한 작은 µ 문제를 해결하는 것을 피함으로써 총 반복 수를 줄인다.
• 이론적 분석 결과 국소 날카움 매개변수 θ는 문제의 기하학적 특성을 반영하며, 낮은 θ 값일수록 더 빠른 수렴이 가능하다.