[논문 리뷰] An Augmented Lagrangian Method for Conic Convex Programming

Necdet Serhat Aybat, Garud Iyengar|arXiv (Cornell University)|2013. 02. 26.

Advanced Optimization Algorithms Research참고 문헌 10인용 수 20

한 줄 요약

이 논문은 볼록 원뿔 프로그래밍 문제에 대해 원뿔 제약 조건을 갖는 1차 비정확 보조 라그랑주 알고리즘인 ALCC를 제안한다. 이 알고리즘은 $\epsilon$-가능성과 $\epsilon$-최적성 해를 $\mathcal{O}(\log(\epsilon^{-1}))$ 반복 내에서 달성하며, 각 반복은 $\mathcal{O}(\epsilon^{-1}\log(\epsilon^{-1}))$개의 단순한 부분문제를 풀어야 하며, 약한 가정 하에 KKT 점으로의 수렴과 전역 최적성 보장이 보장된다.

ABSTRACT

We propose a new first-order augmented Lagrangian algorithm ALCC for solving convex conic programs of the form min{rho(x)+gamma(x): Ax-b in K, x in chi}, where rho and gamma are closed convex functions, and gamma has a Lipschitz continuous gradient, A is mxn real matrix, K is a closed convex cone, and chi is a "simple" convex compact set such that optimization problems of the form min{rho(x)+|x-x0|_2^2: x in chi} can be efficiently solved for any given x0. We show that any limit point of the primal ALCC iterates is an optimal solution of the conic convex problem, and the dual ALCC iterates have a unique limit point that is a Karush-Kuhn-Tucker (KKT) point of the conic program. We also show that for any epsilon>0, the primal ALCC iterates are epsilon-feasible and epsilon optimal after O(log(1/epsilon)) iterations which require solving O(1/epsilon log(1/epsilon)) problems of the form min{rho(x)+|x-x0|_2^2: x in chi}.

연구 동기 및 목표

• 원뿔 제약 조건을 갖는 볼록 원뿔 최적화 문제를 효율적으로 해결하기 위한 1차 알고리즘을 개발하는 것.
• 약한 제약 조건 충족 조건 하에 카루쉬-쿤-터커(Karush-Kuhn-Tucker, KKT) 점으로의 수렴과 전역 최적성 보장.
• $\mathcal{O}(\log \epsilon^{-1})$ 반복 내에서 $\epsilon$-가능성과 $\epsilon$-최적성을 달성하면서 부분문제 복잡도를 유한하게 유지하는 것.
• 문제의 구조와 부드러운 성분의 리프시츠 연속성을 활용하여 1차 방법을 이용해 부분문제를 효율적으로 해결하는 것.
• 제약 행렬 $A$에 대한 정규성 조건이 필요 없도록 보조 라그랑주 방법을 원뿔 프로그램으로 확장하는 것.

제안 방법

• 알고리즘은 $\chi$가 단순한 컴acts 집합인 형태의 비정확 보조 라그랑주 부분문제를 사용한다: $\min_{x \in \chi} \{ \rho(x) + \gamma(x) + \frac{1}{2\mu_k} \|Ax - b - s_k\|_2^2 \}$.
• 부드러운 성분 $\nabla\gamma$의 리프시츠 연속성에 기반하여 보조 라그랑주를 비정확하게 최소화하기 위해 1차 방법을 적용하며, $\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$의 효율적 해법을 활용한다.
• 반복 복잡도를 제어하기 위해 페널티 파라미터 $\mu_k$를 신중하게 증가시키며, 수렴을 보장하기 위해 부분최적화 허용 오차 $\alpha_k$는 감소시킨다.
• 이중 반복값 $y_k$는 이중 원뿔 $\mathcal{K}^*$ 위로 사영을 통해 갱신되며, 오차 항의 유계성과 합성 가능성을 통해 수렴을 보인다.
• 이 방법은 미리 정의된 목적 함수 $g_{\mu_k}(y_k)$에 기반하며, 약한 이중성과 $g_0$의 상부 연속성을 이용하여 KKT 점으로의 수렴을 증명한다.
• 비부드러운 항 $\rho(x)$를 처리하기 위해 프록시멀 유사 부분문제를 설계하고, 행렬 $A$의 완전한 정규성 조건을 요구하지 않는다.

실험 결과

연구 질문

• RQ1 보조 라그랑주 방법을 원뿔 볼록 프로그래밍에 적용할 수 있는 비정확 1차 알고리즘을 설계할 수 있는가? 이 경우 수렴성과 반복 복잡도가 보장되는가?
• RQ2 이중 반복값이 KKT 점으로 수렴하고, 원추 반복값이 최적 해로 수렴하기 위한 조건은 무엇인가?
• RQ3 부분문제 복잡도를 유한하게 유지하면서도 $\epsilon$-가능성과 $\epsilon$-최적성을 유지하기 위한 방법은 무엇인가?
• RQ4 $\mu_k$와 $\alpha_k$의 증가 및 감소 규칙은 어떤 것이며, 이는 전역 수렴과 최적의 반복 수를 보장하는가?
• RQ5 강한 제약 조건 충족 조건이 필요 없이, 이 알고리즘을 행렬 게임, 준형 프로그래밍, $\ell_1$-최소화 문제에 적용할 수 있는가?

주요 결과

• 원추 볼록 문제의 원추 반복값의 임의의 극한점은 문제의 최적 해이다.
• 이중 반복값 $\{y_k\}$은 유일한 극한점 $\bar{y}$로 수렴하며, 이는 문제의 KKT 점이다.
• 모든 $\epsilon > 0$에 대해, 알고리즘은 $\mathcal{O}(\log \epsilon^{-1})$ 반복 내에서 $\epsilon$-가능성과 $\epsilon$-최적성을 달성한다.
• 각 반복은 $\mathcal{O}(\epsilon^{-1} \log \epsilon^{-1})$개의 부분문제를 풀어야 하며, 그 형태는 $\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$이다.
• 수렴 증명은 $\sqrt{\xi_k \mu_k}$의 합성 가능성을 바탕으로 하며, 이중 함수 $g_0$의 상부 연속성을 활용한다.
• 이 방법은 행렬 게임, 준형 프로그래밍, $\ell_1$-최소화와 같은 중요한 특수 케이스에 적용 가능하며, 타당 집합이 유계일 경우에 한해 유용하다.