[논문 리뷰] On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions

Ying Cui, Defeng Sun외 1명|arXiv (Cornell University)|2016. 10. 04.

Advanced Optimization Algorithms Research참고 문헌 36인용 수 22

한 줄 요약

이 논문은 원래 문제에 다수의 해가 있거나 무bound일 경우에도 볼록 준선형계획법(SDP)에 대해 보조라그랑주법(ALM)의 渐近 초선형 수렴을 확립한다. 약간의 이阶 성장 조건 하에서, 원본 반복값은 Q-초선형으로 수렴하고, 이중 타당성과 이중 목표 함수 값은 R-초선형으로 수렴하며, 이는 SDPNAL, SDPNAL+, QSDPNAL 등의 솔버의 높은 효율성을 설명한다.

ABSTRACT

Solving large scale convex semidefinite programming (SDP) problems has long been a challenging task numerically. Fortunately, several powerful solvers including SDPNAL, SDPNAL+ and QSDPNAL have recently been developed to solve linear and convex quadratic SDP problems to high accuracy successfully. These solvers are based on the augmented Lagrangian method (ALM) applied to the dual problems with the subproblems being solved by semismooth Newton-CG methods. Noticeably, thanks to Rockafellar's general theory on the proximal point algorithms, the primal iteration sequence generated by the ALM enjoys an asymptotic Q-superlinear convergence rate under a second order sufficient condition {for the primal problem}. This second order sufficient condition implies that the primal problem has a unique solution, which can be restrictive in many applications. For gaining more insightful interpretations on the high efficiency of these solvers, in this paper we conduct an asymptotic superlinear convergence analysis of the ALM for convex SDP when the primal problem has multiple solutions (can be unbounded). Under a fairly mild second order growth condition, we prove that the primal iteration sequence generated by the ALM converges asymptotically Q-superlinearly, while the dual feasibility and the dual objective function value converge asymptotically R-superlinearly. Moreover, by studying the metric subregularity of the Karush-Kuhn-Tucker solution mapping, we also provide sufficient conditions to guarantee the asymptotic R-superlinear convergence of the dual iterate.

연구 동기 및 목표

• 실제로 원본 해가 유일하지 않은 경우에도 SDPNAL, SDPNAL+, QSDPNAL과 같은 ALM 기반 SDP 솔버의 높은 효율성을 설명하기 위해.
• 고전적인 유일 최적 해의 설정을 넘어서 보조라그랑주법의 이론적 수렴 분석을 확장하기 위해.
• 엄격한 이阶 충족 조건 대신 더 약한 이阶 성장 조건을 사용하여 원본 및 이중 반복값에 대한 초선형 수렴 속도를 확립하기 위해.
• 이중 반복값의 R-초선형 수렴을 보장하기 위해 카르쉬-쿤-터커(KKT) 해 맵핑의 메트릭 하위정규성을 특성화하기 위해.
• 정확한 해가 필요 없이도 수렴 속도를 유지할 수 있도록 내부 하위문제에 대한 구현 가능한 停止 기준을 제공하기 위해.

제안 방법

• 보조 문제에 록파렐라의 프록시멀 포인트 이론을 적용하여, 보조라그랑주 프레임워크를 활용해 원본 및 이중 반복값을 생성한다.
• 기존의 이阶 충족 조건 대신, 다수의 해가 존재할 경우의 수렴 분석이 가능하도록 이阶 성장 조건을 도입한다.
• 반세미스위프 뉴턴-CG 방법을 사용해 ALM 내의 보조 문제를 근사적으로 해결하며, 새로운 구현 가능한 기준을 통해 오차를 통제한다.
• 메트릭 하위정규성 분석을 통해 KKT 맵핑의 특성을 분석하고, 이중 반복값의 초선형 수렴과 연결한다.
• 원본 반복값과 이중 타당성에 대한 오차 한계를 활용해 내부 반복의 구현 가능한 정지 기준을 유도하며, 정확한 하위문제 해가 필요 없이도 수렴을 보장한다.
• 고전적인 유일한 원본 해 가정을, 해 집합 근처에서 최적 목적 함수 값의 성장에 대한 더 약한 조건으로 대체한다.

실험 결과

연구 질문

• RQ1 원본 문제가 다수의 해를 가질 경우, 보조라그랑주법이 볼록 SDP에 대해 초선형 수렴을 달성할 수 있는가?
• RQ2 유일한 해가 없을 경우, SDPNAL과 같은 ALM 기반 SDP 솔버에서 초선형 수렴이 불가능한가?
• RQ3 이阶 충족 조건보다 더 약한 조건은 무엇이 되어야 보조라그랑주법의 SDP에서 초선형 수렴을 보장할 수 있는가?
• RQ4 이중 반복값의 R-초선형 수렴을 보장하기 위해 KKT 맵핑의 메트릭 하위정규성은 어떻게 특성화할 수 있는가?
• RQ5 외부 ALM 반복값의 渐近 초선형 수렴을 유지할 수 있도록 내부 하위문제에 대한 구현 가능한 정지 기준을 유도할 수 있는가?

주요 결과

• 이阶 성장 조건 하에서, 원본 해가 유일하지 않더라도 ALM가 생성하는 원본 반복값은 Q-초선형으로 수렴한다.
• 이중 타당성과 이중 목표 함수 값은 R-초선형으로 수렴하며, 이는 실무 솔버에서 관찰된 빠른 수렴을 설명한다.
• KKT 맵핑이 메트릭 하위정규성을 만족할 경우, 이중 반복값은 R-초선형으로 수렴하며, 이는 이阶 성장 조건 하에서 성립한다.
• 내부 하위문제에 대한 새로운 구현 가능한 정지 기준을 제안하여, 정확한 해가 필요 없이도 외부 ALM가 초선형 수렴을 유지함을 보장한다.
• 유일한 원본 해가 없거나 무bound 문제일 경우에도 수렴 결과가 강인하며, 이는 확장 가능하다.
• 이론적 프레임워크는 대규모 선형 및 볼록 2차 SDP 문제를 해결할 때 SDPNAL, SDPNAL+, QSDPNAL의 높은 수치적 성능을 설명한다.