[논문 리뷰] Fast methods for nonsmooth nonconvex minimization

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|2018. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 60인용 수 9

한 줄 요약

이 논문은 부드러운 사상과 분리 가능한 프록시 오퍼레이터를 활용하여 미분 가능하지 않고 볼록이 아닌 최적화 문제를 위한 새로운 유형의 알고리즘을 제안한다. 이를 통해 표준 솔버인 최소 제곱법과 L-BFGS의 효율적 사용이 가능해지며, 정확한 RPCA와 강건한 위상 복원 문제와 같은 문제들에서 20회 이내의 반복 안에 선형에서 초선형 수렴를 달성한다. 이는 커널 S³VM을 처음으로 다루는 방법이다.

ABSTRACT

We propose a new class of algorithms for nonsmooth, nonconvex problems that are expressible as compositions of nonsmooth nonconvex functions with smooth maps. In many cases, these algorithms require only (1) least squares solvers and (2) proximal operators of separable functions. An immediate consequence is that direct factorization and SVDs, as well as accelerated iterative methods such as preconditioned CG, fast-gradient methods, and (L)BFGS can be leveraged to solve nonsmooth nonconvex problems. We provide a convergence analysis and empirical results for a selected set of representative applications, including phase retrieval, stochastic shortest path, semi-supervised support vector machines (S$^3$VM), and exact robust PCA. In all of these applications, we see linear and superlinear empirical rates of convergence. In particular, we need fewer than 20 iterations to solve both exact RPCA and large-scale robust phase retrieval problems. As far as we know, the proposed algorithm is the first available for solving Kernel (S$^3$VM) problems.

연구 동기 및 목표

• 기계 학습 및 신호 처리 분야의 핵심 응용에서 발생하는 부드럽지 않고 비볼록 최적화 문제를 해결하는 데 도전하는 것.
• SVD와 직접 요인분해와 같은 고비용 연산을 피하면서도 빠른 수렴 속도를 유지하는 방법을 개발하는 것.
• 비볼록, 비미분 가능 설정에서도 표준적이고 효율적인 솔버인 L-BFGS와 공액 기울기 방법을 사용할 수 있도록 하는 것.
• 이전까지 해결되지 않았던 분야의 도전 과제였던 커널 S³VM 문제를 해결하는 데 있어 첫 실용적 알고리즘을 제공하는 것.
• 위상 복원과 강건한 주성분 분석과 같은 대표적인 문제들에서 선형 및 초선형 수렴 속도를 달성하는 것.

제안 방법

• 부드럽지 않고 비볼록 함수의 복합 구조를 부드러운 사상과 결합하여 최적화를 효율적으로 수행할 수 있도록 문제를 재구성한다.
• 두 핵심 구성 요소에 의존한다: (1) 부드러운 하위문제를 위한 최소 제곱 솔버와 (2) 분리 가능한 함수의 프록시 오퍼레이터.
• 예를 들어, 조절된 공액 기울기, 빠른 기울기 방법, L-BFGS와 같은 표준 반복 솔버를 최적화 프레임워크에 통합한다.
• 문제를 부드러운 성분과 분리 가능한 비부드러운 성분으로 분해함으로써 전체 SVD나 직접 요인분해가 필요 없도록 한다.
• 비볼록, 비부드러운 설정에서도 가속 기법과 조절 기법을 적용할 수 있도록 한다.
• 부드러운 성분과 비부드러운 성분이 결합된 복합 최적화 프레임워크 내에서 수렴성을 분석하며, 프록시 방법의 기존 수렴 결과를 활용한다.

실험 결과

연구 질문

• RQ1 SVD와 직접 요인분해와 같은 고비용 연산을 피하면서도 확장성과 효율성을 확보하는 비미분 가능하고 비볼록 최적화를 위한 알고리즘을 설계할 수 있는가?
• RQ2 구조적 분해를 통해 L-BFGS와 공액 기울기 방법과 같은 표준 반복 솔버가 비볼록, 비미분 가능 문제에 효과적으로 적용될 수 있는가?
• RQ3 이 프레임워크를 사용할 때 위상 복원과 강건한 주성분 분석과 같은 대표적 문제들에서 실제로 달성할 수 있는 수렴 속도는 무엇인가?
• RQ4 기존 방법을 확장하여 이전까지 해결되지 않았던 커널 S³VM 문제를 다룰 수 있는가?
• RQ5 비볼록이고 비미분 가능한 문제의 특성에도 불구하고 실제 응용에서 초선형 수렴를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 테스트 문제에서 경험적으로 선형에서 초선형 수렴 속도를 달성한다.
• 정확한 강건한 주성분 분석과 대규모 강건한 위상 복원 문제는 20회 이내의 반복 안에 해결된다.
• 비볼록, 비미분 가능 설정에서도 L-BFGS와 조절된 공액 기울기 방법과 같은 효율적 솔버를 사용할 수 있다.
• SVD와 직접 요인분해의 계산 비용을 피함으로써 확장성은 크게 향상된다.
• 이제까지 해결되지 않았던 커널 S³VM 문제를 해결할 수 있는 실용적 알고리즘이 처음으로 제공된다.
• 반복적인 실세계 문제, 예를 들어 준감독 SVM과 랜덤 최단 경로 문제를 높은 효율성으로 성공적으로 처리한다.