[논문 리뷰] A Richer Theory of Convex Constrained Optimization with Reduced Projections and Improved Rates

Tianbao Yang, Qihang Lin외 1명|arXiv (Cornell University)|2016. 08. 11.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 볼록 제약 최적화를 위한 새로운 프레임워크를 제안하며, 투영의 횟수를 극적으로 줄인다—부드럽지 않은 문제의 경우 최적 수렴 속도를 달성하기 위해 단 한 번의 투영으로, 비부드러운 경우 로그 수준의 투영을 사용한다. 지역 오차 유계 조건 하에서 비부드러운 문제의 경우, 반복 복잡도가 향상된 가속 알고리즘을 도입하여 부드러운 최적화의 경우 $O(1/\epsilon)$, 비부드러운 최적화의 경우 $\widetilde{O}(1/\epsilon^{2(1-\theta)})$를 달성한다. 여기서 $\theta \in (0,1]$는 지역 성장률을 측정하는 값이며, 압축 감지 및 거리 척도 학습에서 이전 방법들보다 뛰어나게 성능을 발휘한다.

ABSTRACT

This paper focuses on convex constrained optimization problems, where the solution is subject to a convex inequality constraint. In particular, we aim at challenging problems for which both projection into the constrained domain and a linear optimization under the inequality constraint are time-consuming, which render both projected gradient methods and conditional gradient methods (a.k.a. the Frank-Wolfe algorithm) expensive. In this paper, we develop projection reduced optimization algorithms for both smooth and non-smooth optimization with improved convergence rates under a certain regularity condition of the constraint function. We first present a general theory of optimization with only one projection. Its application to smooth optimization with only one projection yields $O(1/ε)$ iteration complexity, which improves over the $O(1/ε^2)$ iteration complexity established before for non-smooth optimization and can be further reduced under strong convexity. Then we introduce a local error bound condition and develop faster algorithms for non-strongly convex optimization at the price of a logarithmic number of projections. In particular, we achieve an iteration complexity of $\widetilde O(1/ε^{2(1-θ)})$ for non-smooth optimization and $\widetilde O(1/ε^{1-θ})$ for smooth optimization, where $θ\in(0,1]$ appearing the local error bound condition characterizes the functional local growth rate around the optimal solutions. Novel applications in solving the constrained $\ell_1$ minimization problem and a positive semi-definite constrained distance metric learning problem demonstrate that the proposed algorithms achieve significant speed-up compared with previous algorithms.

연구 동기 및 목표

• 복잡한 제약 조건(예: 정반정형 또는 이차 제약)이 존재할 경우, 투영 및 선형 최적화의 높은 계산 비용을 해결하기 위해.
• 단 한 번의 투영만을 사용하는 일반적인 이론을 개발하여, 비용이 많이 드는 투영 단계에 대한 의존도를 줄이기 위해.
• 지역 오차 유계 조건 하에서 비강한 볼록 문제의 수렴 속도를 향상시키기 위해, 로그 수준의 투영 횟수를 도입하기 위해.
• $\ell_1$ 최소화 및 양의 정부호 준거 거리 척도 학습과 같은 실제 문제들에 대해 제안된 알고리즘의 효과성을 입증하기 위해.
• 약한 정규성 가정 하에서 부드럽고 비부드러운 최적화의 반복 복잡도 한계를 더욱 견고하게 설정하기 위해.

제안 방법

• 제약 함수를 장벽 유사 방법을 통해 목적 함수에 통합하는 일반적 프레임워크를 도입하여, 최종적으로 한 번의 투영만을 허용한다.
• 증강된 비제약 문제에 네스테로프의 가속 경사 하강법을 적용하여, 부드러운 볼록 최적화 문제에서 $O(1/\epsilon)$ 반복 복잡도를 달성한다.
• 지역 오차 유계 조건과 파라미터 $\theta \in (0,1]$를 활용하여 최적점 근처에서 목적 함수 값의 지역 성장률을 기술한다.
• 각 단계에서 점점 더 탐색 범위를 좁히는 오차 유계 조건을 사용하는 다단계 알고리즘을 설계하여, 로그 수준의 투영 횟수를 확보한다.
• 제약 위반을 제어하고 수렴 속도를 가속화하기 위해, 선형 검색 또는 페널티 파라미터 $\lambda$의 적응적 조정을 시행한다.
• 특정 문제들인 $\ell_1$ 최소화 및 PSD 제약이 있는 거리 척도 학습에 프레임워크를 적용하여, 문제의 구조를 활용하도록 방법을 적응시킨다.

실험 결과

연구 질문

• RQ1 반복적인 비용이 많이 드는 투영을 피하기 위해, 부드러운 볼록 최적화 문제에서 단 한 번의 투영만으로 최적 수렴 속도를 달성할 수 있는가?
• RQ2 투영이 비용이 많이 들 때, 비부드럽고 비강한 볼록 문제의 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ3 지역 오차 유계 조건과 파라미터 $\theta$는 로그 수준의 투영 횟수로 수렴 속도를 가속화하는 데 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 복잡한 제약 조건이 존재하는 실제 문제들, 예를 들어 압축 감지 및 거리 척도 학습에 효과적으로 적용될 수 있는가?
• RQ5 기존의 투영 경사 하강법 및 프랭크-월로우 방법에 비해, 제안된 방법이 반복 복잡도 및 실행 시간 측면에서 이론적·실증적 우수성을 보이는 이유는 무엇인가?

주요 결과

• 제안된 방법은 부드러운 볼록 최적화 문제에서 단 한 번의 투영만으로 $O(1/\epsilon)$ 반복 복잡도를 달성하며, 이는 이전의 비부드러운 방법의 $O(1/\epsilon^2)$ 복잡도보다 향상된 결과이다.
• 비부드러운 최적화의 경우, 지역 오차 유계 조건 하에서 파라미터 $\theta \in (0,1]$를 가진 조건 하에서 $\widetilde{O}(1/\epsilon^{2(1-\theta)})$ 반복 복잡도를 달성한다. 이는 표준 수렴 속도보다 더 빠르다.
• 동일한 조건 하에서 부드러운 최적화의 경우, $\widetilde{O}(1/\epsilon^{1-\theta})$ 반복 복잡도를 달성하여, 비강한 볼록 문제의 경우 더 빠른 수렴을 입증한다.
• 압축 감지 문제에서 LoPNAG는 NESTA보다 뚜렷이 더 빠르게 수렴하며, 단 한 번의 투영으로도 더 낮은 복구 오차와 목적 함수 값을 달성한다.
• 고차원 거리 척도 학습 문제에서 LoPGD는 PGD와 OPGD를 모두 압도적으로 빠르게 수렴하며, 비부드러운 PSD 제약 조건에도 불구하고 8000회 반복 이내에 뚜렷한 수렴 속도 향상을 보였다.
• 모든 $\ell_1$ 최소화 및 거리 척도 학습 문제에서 실증적으로 빠른 속도 향상을 보이며, 이는 이전의 투영 중심 알고리즘 대비 실용적 우수성을 입증한다.