[논문 리뷰] An accelerated algorithm for minimizing convex compositions

Dmitriy Drusvyatskiy, Courtney Kempton|arXiv (Cornell University)|2016. 04. 30.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 2

한 줄 요약

이 논문은 스무딩, 프록스-선형 방법, 그리고 빠른 경사도 계획을 조합하여 볼록 조합을 최소화하기 위한 가속화 알고리즘을 제안한다. 이로써 일阶 방법을 사용해 하위 문제를 근사적으로 해결할 경우 복잡도가 $\widetilde{\mathcal{O}}(\varepsilon^{-3})$이 되며, 평균 복합 함수 문제로의 확장과 볼록성 하에서 자동으로 가속화되는 관성형 변형이 가능하다.

ABSTRACT

We consider global efficiency of algorithms for minimizing a sum of a convex function and a composition of a Lipschitz convex function with a smooth map. The basic algorithm we rely on is the prox-linear method, which in each iteration solves a regularized subproblem formed by linearizing the smooth map. When the subproblems are solved exactly, the method has efficiency $\mathcal{O}(\varepsilon^{-2})$, akin to gradient descent for smooth minimization. We show that when the subproblems can only be solved by first-order methods, a simple combination of smoothing, the prox-linear method, and a fast-gradient scheme yields an algorithm with complexity $\widetilde{\mathcal{O}}(\varepsilon^{-3})$. The technique readily extends to minimizing an average of $m$ composite functions, with complexity $\widetilde{\mathcal{O}}(m/\varepsilon^{2}+\sqrt{m}/\varepsilon^{3})$ in expectation. We round off the paper with an inertial prox-linear method that automatically accelerates in presence of convexity.

연구 동기 및 목표

• 리프시츠 연속 볼록 함수와 미분 가능 맵의 복합 함수의 합을 최소화하기 위한 효율적인 일阶 알고리즘을 개발하는 것.
• 하위 문제를 정확히 해결하는 대신 근사적으로 해결할 경우, 전역 수렴 효율성을 향상시키는 것.
• m개의 복합 함수의 평균을 최소화하기 위해 방법을 확장하여 기대 복잡도를 향상시키는 것.
• 볼록성 존재 하에서 자동으로 가속화되는 관성형 프록스-선형 방법을 도입하는 것.

제안 방법

• 비미분 가능 성분을 다루기 위해 스무딩 기법과 프록스-선형 프레임워크를 조합하는 방법.
• 일阶 방법을 사용해 하위 문제를 근사적으로 해결할 때 수렴 속도를 가속화하기 위해 빠른 경사도 계획을 적용하는 방법.
• 각 반복에서 매끄러운 맵을 선형화하고 정규화된 하위 문제를 해결하여 전역 수렴을 보장하는 방법.
• 복합 함수의 평균 최소화 경우, 반복 복잡도를 감소시키기 위해 확률적 근사 방법을 사용하는 방법.
• 모멘텀 유사 항을 포함한 관성형 프록스-선형 방법을 도입하여 볼록 구조에 적응하고 수렴 속도를 향상시키는 방법.
• 표준 가정 하에 복잡도 상한을 이론적으로 확립하는 분석: 리프시츠 연속성과 볼록성 포함.

실험 결과

연구 질문

• RQ1 하위 문제를 일阶 방법으로 근사적으로 해결할 경우, 프록스-선형 방법이 전역 효율성을 유지할 수 있는가?
• RQ2 하위 문제를 일阶 기법으로 해결할 때 볼록 조합을 최소화하기 위한 최적 복잡도는 무엇인가?
• RQ3 m개의 복합 함수의 평균을 최소화할 경우 복잡도는 어떻게 스케일링되는가?
• RQ4 모멘텀 유사 항을 프록스-선형 방법에 통합하여 볼록성 존재 하에서 자동으로 가속화를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 단일 볼록 조합을 최소화할 경우 복잡도 $\widetilde{\mathcal{O}}(\varepsilon^{-3})$을 달성하며, 하위 문제를 근사적으로 해결할 경우 기존 $\mathcal{O}(\varepsilon^{-2})$보다 향상된다.
• m개의 복합 함수의 평균을 최소화할 경우 기대 복잡도는 $\widetilde{\mathcal{O}}(m/\varepsilon^{2} + \sqrt{m}/\varepsilon^{3})$이며, m에 대한 의존도가 향상됨을 보여준다.
• 관성형 프록스-선형 방법은 강한 볼록성 파rameter를 사전에 알 필요 없이 볼록성 존재 하에서 자동으로 가속화된다.
• 스무딩, 프록스-선형 업데이트, 빠른 경사도 계획의 조합은 이론적 보장을 제공하며 비미분성 복합 문제를 효율적으로 해결할 수 있다.