[논문 리뷰] Iteration complexity of first-order augmented Lagrangian methods for convex conic programming

Zhaosong Lu, Zirui Zhou|arXiv (Cornell University)|2018. 03. 27.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 13

한 줄 요약

이 논문은 하위문제를 근사적으로 해결하기 위해 네스테로프의 최적의 일차 방법을 사용하는 볼록 원뿔 프로그래밍을 위한 비정확한 증강 라그랑주법(I-AL)을 제안한다. $\mathcal{O}(e^{-7/4})$의 반복 복잡도를 갖는 $e$-KKT 해를 찾는 데에 대해 분석하고, 새로운 비정확한 프락시멀 포인트 분석을 통해 이전의 복잡도 기준보다 크게 향상된 $\mathcal{O}(e^{-1}\loge^{-1})$ 복잡도를 달성하는 적응적 정규화된 I-AL 변형을 추가로 제안한다.

ABSTRACT

In this paper we consider a class of convex conic programming. In particular, we first propose an inexact augmented Lagrangian (I-AL) method that resembles the classical I-AL method for solving this problem, in which the augmented Lagrangian subproblems are solved approximately by a variant of Nesterov's optimal first-order method. We show that the total number of first-order iterations of the proposed I-AL method for finding an $ε$-KKT solution is at most $\mathcal{O}(ε^{-7/4})$. We then propose an adaptively regularized I-AL method and show that it achieves a first-order iteration complexity $\mathcal{O}(ε^{-1}\logε^{-1})$, which significantly improves existing complexity bounds achieved by first-order I-AL methods for finding an $ε$-KKT solution. Our complexity analysis of the I-AL methods is based on a sharp analysis of inexact proximal point algorithm (PPA) and the connection between the I-AL methods and inexact PPA. It is vastly different from existing complexity analyses of the first-order I-AL methods in the literature, which typically regard the I-AL methods as an inexact dual gradient method.

연구 동기 및 목표

• 볼록 원뿔 프로그래밍에 대해 향상된 반복 복잡도를 갖는 일차 비정확 증강 라그랑주법(I-AL)을 개발하기.
• 에psilon-KKT 해를 찾기 위해 필요한 일차 반복의 총 수를 분석하고, 수렴 속도에 중점을 두기.
• 기존 방법보다 더 날카운 복잡도 기준을 확립하기 위해 I-AL을 비정확한 프락시멀 포인트 알고리즘(PPA)으로 재해석함으로써, 비정확한 이중 경사도 방법이 아닌 방식으로 접근하기.
• 향상된 수렴 복잡도를 달성하는 적응적 정규화된 I-AL 변형을 제안하기.
• 문제의 구조와 부드러움에 대한 표준 가정 하에, I-AL과 비정확한 PPA 간의 연결을 기반으로 날카운 복잡도 분석을 제공하기.

제안 방법

• I-AL 방법은 네스테로프의 최적의 일차 방법의 변형을 사용하여 증강 라그랑주 하위문제를 근사적으로 해결한다.
• 수렴 분석을 위해 프락시멀 포인트 프레임워크를 활용하며, I-AL을 오차 제어가 가능한 비정확한 PPA로 간주한다.
• 수렴 속도 향상을 위해 페널티 파라미터 $\rho_k$를 동적으로 조정하는 적응적 정규화 전략을 도입한다.
• 함수 $P$의 프락시멀 연산자와 이중 원뿔 $\mathcal{K}^*$ 위로의 사영을 정확하게 평가하고, 기울기의 리프시츠 연속성을 가정한다.
• 알고리즘은 사영을 통한 이중 스텝 사이즈 업데이트를 사용한다: $\lambda^{k+1} = \Pi_{\mathcal{K}^*}(\lambda^k + \rho_k g(x^{k+1}))$.
• 비정확한 하위문제 해에 대한 오차 기준을 통해 수렴을 분석하며, $e$-KKT 해를 위한 총 오차가 $\mathcal{O}(\u0065)$ 이내로 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 하위문제를 근사적으로 해결할 때 볼록 원뿔 프로그래밍에 대한 일차 I-AL 방법의 반복 복잡도는 무엇인가?
• RQ2 알고리즘의 구조를 수정함으로써 $\mathcal{O}(\u0065^{-7/4})$를 초월한 복잡도 향상을 달성할 수 있는가?
• RQ3 비정확한 PPA 해석과 전통적인 비정확한 이중 경사도 방법 간의 복잡도 분석에서의 차이는 무엇인가?
• RQ4 적응적 정규화는 필요한 일차 반복 수를 줄이는 데 어떤 역할을 하는가?
• RQ5 제안된 방법이 반복 복잡도에서 $e^{-1}$ 에 대한 상용 로그 의존성을 달성할 수 있는가?

주요 결과

• 제안된 I-AL 방법은 $\mathcal{O}(\u0065^{-7/4})$의 반복 복잡도를 갖는다. 이는 $e$-KKT 해를 찾는 데에 있어 이전의 기준을 향상시킨다.
• 적응적 정규화된 I-AL 변형은 $\mathcal{O}(\u0065^{-1}\log\u0065^{-1})$로 향상된 복잡도를 달성하며, 로그 인자 외에는 최적이다.
• 복잡도 분석은 I-AL과 비정확한 PPA 간의 새로운 연결을 기반으로 하며, 기존의 비정확한 이중 경사도 방법으로의 해석과 다릅니다.
• 함수 $P$의 프락시멀 연산자와 $\mathcal{K}^*$ 위로의 사영을 정확하게 평가하고, $\nabla f$와 $\nabla g$의 도메인에서의 리프시츠 연속성을 가정한다.
• 비정확한 하위문제 해에 대한 오차 기준을 통해 수렴을 확립하며, 전역적으로 $e$-KKT 점으로 수렴함을 보장한다.
• 강한 이중성과 $\mathrm{dom}(P)$의 컴팩트성 가정 하에 유도되었으며, 이는 희소 및 저질서 학습 문제에서 흔한 조건이다.