[논문 리뷰] Proximal Alternating Penalty Algorithms for Constrained Convex Optimization

Quoc Tran-Dinh|arXiv (Cornell University)|2017. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 8

한 줄 요약

이 논문은 비미분 가능이고 제약 조건이 있는 볼록 최적화 문제를 해결하기 위해 두 가지 새로운 프록시멀 교대 페널티 알고리즘을 제안한다. 이중 제곱 페널티, 교대 최소화, 네스테로프의 가속화 및 적응형 파rameter 조정을 결합함으로써, 리프시츠 기울기 또는 강凸성 가정 없이도 일반 문제에 대해 최적의 $Ó(1/k)$ 수렴 속도와 반강凸성 문제가 있는 경우 $Ó(1/k^2)$ 수렴 속도를 달성한다.

ABSTRACT

We develop two new proximal alternating penalty algorithms to solve a wide range class of constrained convex optimization problems. Our approach mainly relies on a novel combination of the classical quadratic penalty, alternating minimization, Nesterov's acceleration, and adaptive strategy for parameters. The first algorithm is designed to solve generic and possibly nonsmooth constrained convex problems without requiring any Lipschitz gradient continuity or strong convexity, while achieving the best-known $O(\frac{1}{k})$-convergence rate in a non-ergodic sense, where $k$ is the iteration counter. The second algorithm is also designed to solve non-strongly convex, but semi-strongly convex problems. This algorithm can achieve the best-known $O(\frac{1}{k^2})$-convergence rate on the primal constrained problem. Such a rate is obtained in two cases: (i)~averaging only on the iterate sequence of the strongly convex term, or (ii) using two proximal operators of this term without averaging. In both algorithms, we allow one to linearize the second subproblem to use the proximal operator of the corresponding objective term. Then, we customize our methods to solve different convex problems, and lead to new variants. As a byproduct, these algorithms preserve the same convergence guarantees as in our main algorithms. We verify our theoretical development via different numerical examples and compare our methods with some existing state-of-the-art algorithms.

연구 동기 및 목표

• 기계 학습, 신호 처리 및 제어 시스템에서 발생하는 대규모, 비미분 가능, 제약 조건이 있는 볼록 최적화 문제를 해결하는 데 도전한다.
• 내부점법 및 순차적 정수 프로그래밍과 같은 전통적 방법의 한계를 극복한다. 이는 고차원, 비미분 가능 문제에 대해 비효율적이기 때문이다.
• 리프시츠 기울기 연속성 또는 강凸성에 의존하지 않는, 증명 가능한 수렴 속도를 갖는 1차 알고리즘을 개발한다.
• 가속화 및 적응형 페널티 전략을 사용하여 일반 문제에 대해 최적의 수렴 속도 $Ó(1/k)$ 와 반강凸성 문제가 있는 경우 $Ó(1/k^2)$ 를 달성한다.
• 프록시멀 연산자를 통해 하위 문제의 선형화를 가능하게 하면서도 수렴 보장을 유지함으로써 실용적인 구현 가능성을 향상시킨다.

제안 방법

• 제약 조건을 $Ax + By - c \in \mathcal{K}$ 로 표현하는 복합 최적화 문제로 제약 조건을 재구성하며, $f(x)$ 와 $g(y)$ 는 비미분 가능이고 볼록 함수이다.
• 제약 조건을 이중화하기 위해 제곱 페널티 방법을 적용하여, 문제를 페널티가 부여된 증강 라그랑주 형태로 변환한다.
• x와 y에 대한 업데이트를 분리하는 교대 최소화 방식을 도입하여, 프록시멀 연산자를 사용해 하위 문제를 순차적으로 해결한다.
• 수렴 속도 향상을 위해 네스테로프의 가속화 기법을 통합하여, 특히 반강凸성 문제가 있는 경우 $Ó(1/k^2)$ 를 달성한다.
• 페널티 파rameter $\rho_k$ 와 스텝 사이즈 $\tau_k$ 에 대해 적응형 파rameter 업데이트 전략을 사용하여 수동 조정이 필요 없도록 한다.
• 하위 문제에서 부드러운 부분 $h(y)$ 의 선형화를 허용하여, $g$ 와 $h$ 의 프록시멀 연산자를 통해 효율적인 계산이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 리프시츠 기울기 연속성 조건 없이도, 일반적인 비미분 가능이고 비강凸성 제약 조건이 있는 문제에 대해 프록시멀 교대 페널티 방법이 $Ó(1/k)$ 수렴 속도를 달성할 수 있는가?
• RQ2 가속화 및 적응형 파rameter를 사용할 경우, 반강凸성 문제가 있는 문제에 대해 $Ó(1/k^2)$ 수렴 속도를 달성할 수 있는가?
• RQ3 페널티 및 스텝 사이즈 파rameter를 어떻게 적응적으로 업데이트하여 수동 조정 없이 수렴을 보장할 수 있는가?
• RQ4 하위 문제의 부드러운 성분을 선형화해도 알고리즘이 수렴 보장을 유지할 수 있는가?
• RQ5 반복 수열에 평균을 취하거나, 평균 없이 두 개의 프록시멀 단계를 사용할 경우, $Ó(1/k^2)$ 수렴 속도가 달성되는 이론적 조건은 무엇인가?

주요 결과

• 첫 번째 알고리즘은 리프시츠 기울기 연속성 또는 강凸성 조건 없이도 일반적인 비미분 가능이고 제약 조건이 있는 볼록 최적화 문제에 대해 $Ó(1/k)$ 비에르고딕 수렴 속도를 달성한다.
• 두 번째 알고리즘은 반강凸성 문제가 있는 문제에 대해 최적의 $Ó(1/k^2)$ 수렴 속도를 달성하며, 두 조건을 만족할 경우에 한해 성립한다: (i) 강凸성 항의 반복 수열에만 평균을 취하거나, (ii) 강凸성 항의 두 프록시멀 연산자를 사용하지만 평균을 취하지 않는다.
• 부드러운 부분의 선형화가 가능하더라도 수렴 보장이 유지되어 효율적인 구현이 가능하다.
• $\rho_k$, $\tau_k$, $\gamma_k$ 의 적응형 파rameter 업데이트 전략은 수동 조정 없이도 수렴을 보장하여 실용적 사용성을 향상시킨다.
• 이론적 분석 결과, $\rho_0 \leq \frac{\mu_g + 2\mu_h - L_h}{2\|B\|^2} > 0$ 일 때 $Ó(1/k^2)$ 수렴 속도가 달성됨을 보여주며, 이는 파rameter 선택이 문제의 구조와 직접 연결됨을 시사한다.
• 수치 실험 결과는 이론적 발견을 확인하고, 다양한 볼록 최적화 문제에서 최신 1차 방법들보다 뛰어난 성능을 보임을 입증한다.