[논문 리뷰] On the R-superlinear convergence of the KKT residues generated by the augmented Lagrangian method for convex composite conic programming

Ying Cui, Defeng Sun외 1명|arXiv (Cornell University)|2017. 06. 27.

Optimization and Variational Analysis참고 문헌 36인용 수 7

한 줄 요약

이 논문은 볼록 복합 콘형 프로그래밍(CCCP)에 대해 증강 라그랑주법(ALM)이 생성하는 KKT 잔여항의 R-초선형 수렴성을 입증한다. 이는 이중 문제에 대한 약한 이차 성장 조건과 Robinson 제약 조건을 만족할 때 성립하며, 이는 오랜 기간 동안 미해결이었던 열린 문제를 해결한다. 이 결과는 유일한 해나 강한 오차 경계 조건을 요구하지 않음에도 불구하고 빠른 수렴을 보임을 보여주며, SDPNAL 및 QSDPNAL과 같은 현대 ALM 솔버의 뛰어난 성능을 설명한다.

ABSTRACT

Due to the possible lack of primal-dual-type error bounds, the superlinear convergence for the Karush-Kuhn-Tucker (KKT) residues of the sequence generated by augmented Lagrangian method (ALM) for solving convex composite conic programming (CCCP) has long been an outstanding open question. In this paper, we aim to resolve this issue by first conducting convergence rate analysis for the ALM with Rockafellar's stopping criteria under only a mild quadratic growth condition on the dual of CCCP. More importantly, by further assuming that the Robinson constraint qualification holds, we establish the R-superlinear convergence of the KKT residues of the iterative sequence under easy-to-implement stopping criteria {for} the augmented Lagrangian subproblems. Equipped with this discovery, we gain insightful interpretations on the impressive numerical performance of several recently developed semismooth Newton-CG based ALM solvers for solving linear and convex quadratic semidefinite programming.

연구 동기 및 목표

• 볼록 복합 콘형 프로그래밍(CCCP)에 대해, 강한 오차 경계나 유일한 해가 없음에도 불구하고 증강 라그랑주법(ALM)이 R-초선형 수렴을 달성할 수 있는지 여부라는 오랜 기간 동안 미해결이었던 문제를 해결하기 위함.
• 해의 유일성이 요구되지 않는 조건 하에서, 이중 문제에 대한 약한 이차 성장 조건만을 가정하여 ALM의 수렴 속도를 확립하기 위함.
• KKT 잔여항의 R-초선형 수렴을 보장하는, 구현 가능한 ALM 보조 문제 정지 기준을 제공하기 위함.
• 최근 선형 및 볼록 2차 수형 정수 프로그래밍에 기반한 스무스 뉴턴-CG 기반 ALM 솔버의 실험적으로 관측된 빠른 수렴 현상을 설명하기 위함.

제안 방법

• CCCP의 이중 문제에 대한 이차 성장 조건 하에서 Rockafellar의 정지 기준을 사용하여 ALM의 수렴 속도 분석을 수행함.
• KKT 잔여항의 R-초선형 수렴을 Robinson 제약 조건과 구현 가능한 보조 문제 정지 기준과 연결하는 새로운 프레임워크를 제안함.
• ALM 보조 문제를 해결하기 위해 스무스 뉴턴-CG 방법을 적용하여 지역적 빠른 수렴을 보장함.
• KKT 시스템의 자연 맵 표현을 사용하여, 행렬 프로그래밍에서 최적성과 수렴 행동을 특성화함.
• 벌점 매개수 σk를 가진 증강 라그랑주 함수를 사용하고, 순차적 최소화 및 투영을 통해 원래 변수와 이중 변수를 갱신함.
• KKT 매핑의 상위 리프시츠 연속성 조건이 필요하지 않은, 실용적인 기준(실수 및 이중 기준)을 유도함.

실험 결과

연구 질문

• RQ1 강한 오차 경계나 해의 유일성이 없이도, CCCP에서 ALM이 KKT 잔여항의 R-초선형 수렴을 달성할 수 있는가?
• RQ2 어떤 조건에서 ALM이 볼록 복합 콘형 프로그래밍에 대해 KKT 잔여항을 R-초선형으로 수렴하게 하는가?
• RQ3 ALM 보조 문제의 구현 가능한 정지 기준이 KKT 잔여항의 R-초선형 수렴을 보장할 수 있는가?
• RQ4 최근의 ALM 솔버인 SDPNAL 및 QSDPNAL이 선형 및 볼록 2차 정수 프로그래밍에서 왜 이렇게 빠른 수치적 수렴을 보이는가?
• RQ5 KKT 해 매핑이 상위 리프시츠 연속성이 아닐 경우에도 KKT 잔여항의 R-초선형 수렴성이 유지되는가?

주요 결과

• 이중 문제에 대한 약한 이차 성장 조건과 Robinson 제약 조건만을 가정할 경우, CCCP에서 ALM의 KKT 잔여항은 R-초선형으로 수렴한다.
• 원래 해나 이중 해가 유일하지 않더라도 수렴 결과가 유지되어, 강한 유일성 가정이 필요 없음을 보여준다.
• ALM 보조 문제의 구현 가능한 정지 기준이 KKT 잔여항의 R-초선형 수렴을 보장하는 데 충분하다.
• 가중 카이제로 근접 상관계수 행렬 문제에 대한 수치 실험 결과, 잔여항의 반복 횟수 대 대수 로그 스케일 플롯에서 R-초선형 수렴이 관측된다.
• 이론적 결과는 선형 및 볼록 2차 정수 프로그래밍에 대해 최신 ALM 솔버인 SDPNAL, SDPNAL+, QSDPNAL의 놀라운 수치 성능을 설명한다.
• 결측 데이터가 있는 문제, 예를 들어 랜덤하게 설정된 상관계수 행렬의 요소들에서도 KKT 잔여항의 R-초선형 수렴이 관측되어 강건성을 확인한다.