[논문 리뷰] Higher-Order Accelerated Methods for Faster Non-Smooth Optimization

Brian Bullins, Richard Peng|arXiv (Cornell University)|2019. 06. 04.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 소프트맥스 근사의 최고계수 미분 가능성 특성을 활용하여 비연속 최적화 문제의 더 빠른 해법을 위한 고차수 가속 방법을 제안한다. $\ell_\infty$ 회귀와 $\ell_1$-SVM에 대해 $O(\varepsilon^{-4/5})$ 반복 복잡도를 달성하며, 고차수 오рак루스 접근에서 이전의 $O(\varepsilon^{-1})$ 장벽을 뛰어넘었고, 비연속 문제에 고차수 가속을 적용한 첫 번째 알려진 사례이다.

ABSTRACT

We provide improved convergence rates for various \emph{non-smooth} optimization problems via higher-order accelerated methods. In the case of $\ell_\infty$ regression, we achieves an $O(ε^{-4/5})$ iteration complexity, breaking the $O(ε^{-1})$ barrier so far present for previous methods. We arrive at a similar rate for the problem of $\ell_1$-SVM, going beyond what is attainable by first-order methods with prox-oracle access for non-smooth non-strongly convex problems. We further show how to achieve even faster rates by introducing higher-order regularization. Our results rely on recent advances in near-optimal accelerated methods for higher-order smooth convex optimization. In particular, we extend Nesterov's smoothing technique to show that the standard softmax approximation is not only smooth in the usual sense, but also \emph{higher-order} smooth. With this observation in hand, we provide the first example of higher-order acceleration techniques yielding faster rates for \emph{non-smooth} optimization, to the best of our knowledge.

연구 동기 및 목표

• 비연속 최적화에서의 $O(\varepsilon^{-1})$ 반복 복잡도 장벽을 극복하여 일阶 방법의 효율성을 향상시키기 위해.
• 구조적 근사의 고차수 미분 가능성 특성을 활용하여 가속 방법을 연속 문제를 넘어서 확장하기 위해.
• 특히 $\ell_\infty$ 회귀와 $\ell_1$-SVM와 같은 핵심 비연속 기계학습 문제에 대해 더 빠른 알고리즘을 개발하기 위해.
• 고차수 정규화와 미분 가능성 특성이 $\varepsilon^{-1}$ 에 대한 비선형 의존성을 제공할 수 있음을 보여주기 위해.
• 비연속이고 강력히 볼록이 아닌 문제에 고차수 가속을 적용한 첫 번째 알려진 사례를 확립하기 위해.

제안 방법

• 최대값 함수의 부드러운 근사로 소프트맥스 함수 $\operatorname{smax}_\mu(\cdot)$ 를 사용하며, 네 번째 도함수가 유계임을 증명함으로써 고차수 미분 가능성 특성을 입증함.
• 소프트맥스의 세 번째 도함수가 $O(1/\mu^3)$-립시츠 연속임을 입증함으로써 고차수 최적화 기법의 적용 가능성을 확보함.
• 최근 개발된 근사 최적의 고차수 가속 방법을 부드럽게 처리된 비연속 문제에 적용함.
• 네 번째 도함수 모델의 조건수에 맞춰진 재시작 절차를 도입하여 수렴 속도를 향상시킴.
• 고차수 보조 문제를 효율적으로 해결하기 위해 텐서 방법을 통합함으로써 반복 복잡도를 경쟁 가능하게 유지함.
• 기울기와 선형 시스템 해법에 접근할 수 있는 고차수 오라클 모델을 사용함으로써, 일阶 프록시 오라클 방법보다 더 빠른 수렴 가능성을 확보함.

실험 결과

연구 질문

• RQ1 고차수 가속 기법은 전통적으로 사용되지 않는 비연속 최적화 문제에 적용될 수 있는가?
• RQ2 고차수 오라클 접근에서 $\ell_\infty$ 회귀와 $\ell_1$-SVM에 대해 달성 가능한 최적의 반복 복잡도는 무엇인가?
• RQ3 소프트맥스 근사의 고차수 미분 가능성 특성은 비연속 문제에 대해 일阶 방법보다 더 빠른 수렴을 가능하게 하는가?
• RQ4 고차수 정규화, 예를 들어 $\ell_4$-SVM을 통해 $O(\varepsilon^{-4/5})$ 를 초월한 수렴 속도 향상을 달성할 수 있는가?
• RQ5 비연속이고 강력히 볼록이 아닌 문제에서 반복 복잡도에 대한 $\varepsilon^{-1}$ 의 비선형 의존성을 달성할 수 있는가?

주요 결과

• 논문은 $\ell_\infty$ 회귀에 대해 $O(\varepsilon^{-4/5})$ 반복 복잡도를 달성하며, 이는 이전의 $O(\varepsilon^{-1})$ 한계를 향상시킨 것이다.
• $\ell_1$-SVM에 대해서는 $O(\varepsilon^{-4/5})$ 반복 복잡도를 달성하며, 이는 일阶 프록시 오라클 방법으로는 달성할 수 없는 더 빠른 수렴 속도이다.
• 소프트맥스 근사가 세 번째 도함수에서 $O(1/\mu^3)$-립시츠 연속임을 증명함으로써 고차수 미분 가능성 특성이 입증되었다.
• $\ell_4$-정규화를 통합함으로써 $\ell_4$-SVM에 대해 반복 복잡도가 $O(\varepsilon^{-3/5})$ 로 향상되었으며, 이는 균일한 볼록성 하에서 추가적인 성능 향상을 보여준다.
• 반복마다 기울기 오라클과 선형 시스템 해법기기에 $O(\log^{O(1)}(\mathcal{Z}/\varepsilon))$ 번의 호출이 필요하며, $\mathcal{Z}$ 는 문제에 따라 결정되는 상수이다.
• 저자들의 지식에 비추어 볼 때, 이 결과는 고차수 가속이 비연속 문제에 대해 증명 가능한 더 빠른 수렴을 가능하게 한다는 것을 처음으로 보여준다.