[논문 리뷰] QSDPNAL: A two-phase augmented Lagrangian method for convex quadratic semidefinite programming

Xudong Li, Defeng Sun외 1명|arXiv (Cornell University)|2015. 12. 30.

Advanced Optimization Algorithms Research참고 문헌 30인용 수 21

한 줄 요약

이 논문은 대규모 볼록 2차 원형 준정적계획문제(QSDP)를 위한 두 단계 보조 라그랑주 방법인 QSDPNAL을 제안한다. 제1단계는 정확한 슈어 여유분해법을 사용한 일阶 방법을 통해 중간 정확도에 도달하거나 양호한 초기점을 생성한다. 제2단계는 보조 라그랑주 프레임워크 내에서 비정확한 반스무스 뉴턴 방법을 적용하여 KKT 잔여항의 R-초선형 수렴을 달성하며, 대규모 문제에서 높은 효율성과 강건성을 보인다.

ABSTRACT

In this paper, we present a two-phase augmented Lagrangian method, called QSDPNAL, for solving convex quadratic semidefinite programming (QSDP) problems with constraints consisting of a large number of linear equality, inequality constraints, a simple convex polyhedral set constraint, and a positive semidefinite cone constraint. A first order algorithm which relies on the inexact Schur complement based decomposition technique is developed in QSDPNAL-Phase I with the aim of solving a QSDP problem to moderate accuracy or using it to generate a reasonably good initial point for the second phase. In QSDPNAL-Phase II, we design an augmented Lagrangian method (ALM) where the inner subproblem in each iteration is solved via inexact semismooth Newton based algorithms. Simple and implementable stopping criteria are designed for the ALM. Moreover, under mild conditions, we are able to establish the rate of convergence of the proposed algorithm and prove the R-(super)linear convergence of the KKT residual. In the implementation of QSDPNAL, we also develop efficient techniques for solving large scale linear systems of equations under certain subspace constraints. More specifically, simpler and yet better conditioned linear systems are carefully designed to replace the original linear systems and novel shadow sequences are constructed to alleviate the numerical difficulties brought about by the crucial subspace constraints. Extensive numerical results for various large scale QSDPs show that our two-phase algorithm is highly efficient and robust in obtaining accurate solutions.

연구 동기 및 목표

• 고차원 제약 조건을 가진 대규모 볼록 2차 원형 준정적계획문제(QSDP)에 대한 효율적인 해법이 부족한 문제를 해결한다.
• 불안정한 조건과 높은 반복 비용으로 인해 성능이 떨어지는 기존 내점법의 수치적 및 계산적 한계를 극복한다.
• 직접 연산자 Q를 저장하는 것이 불가능한 대규모 QSDP 문제를 다룰 수 있는 확장 가능하고 강건한 알고리즘을 개발한다.
• 일阶 및 이阶 방법을 융합한 두 단계 프레임워크를 설계하여 효율성과 정확도의 균형을 이룬다.
• 유사한 조건 하에 KKT 잔여항의 전역 수렴성과 국소 R-초선형 수렴성을 확립하며, 구현 가능한 停止 기준을 제시한다.

제안 방법

• 두 단계 보조 라그랑주 방법 제안: QSDPNAL-제1단계는 정확한 슈어 여유분해법 기반의 일阶 알고리즘을 사용하여 이중 문제를 중간 정확도로 해결한다.
• QSDPNAL-제2단계에서는 내부 하위문제를 비정확한 반스무스 뉴턴 방법으로 해결하는 보조 라그랑주 방법을 적용하며, 빠른 국소 수렴을 위해 이阶 정보를 활용한다.
• 하위공간 제약 조건 하에서 기존 시스템을 대체하여 조건 수가 향상된 새로운 선형 시스템을 설계하여 수치적 안정성을 향상시킨다.
• 하위공간 제약 조건으로 인한 선형 시스템의 수치적 어려움을 완화하기 위해 새로운 影響 수열을 구성한다.
• 직접 Q 행렬을 저장하지 않고도 하위공간 제약 조건 하에서 대규모 선형 시스템을 효율적으로 해결하기 위한 반복적 해법을 구현한다.
• 보조 라그랑주 체계에 대한 단순하고 구현 가능한 정지 기준을 통합하여 실용적인 수렴 모니터링을 보장한다.

실험 결과

연구 질문

• RQ1 표준 내점법이 조건 수가 나쁜 문제로 인해 실패하는 대규모 볼록 QSDP 문제를 효과적으로 해결할 수 있는 두 단계 보조 라그랑주 방법이 가능한가?
• RQ2 일阶 및 이阶 방법을 하나의 프레임워크에 융합하여 전역 수렴성과 빠른 국소 수렴성을 동시에 달성할 수 있는가?
• RQ3 전체 연산자 Q를 명시적으로 형성하지 않고도 하위공간 제약 조건 하에서 대규모 선형 시스템을 효율적으로 해결할 수 있는 수치 기법은 무엇인가?
• RQ4 과도한 계산 비용 없이도 수렴을 보장하는 보조 라그랑주 방법에 대한 구현 가능한 정지 기준을 설계할 수 있는가?
• RQ5 제안된 알고리즘에서 KKT 잔여항의 수렴 속도는 어떠한가? 초선형 수렴은 어떤 조건에서 달성될 수 있는가?

주요 결과

• QSDPNAL은 온건한 조건 하에서 KKT 잔여항의 R-초선형 수렴을 달성하여 제2단계에서 빠른 국소 수렴을 보인다.
• 알고리즘은 매우 효율적이고 강건하여 최대 2003개의 변수와 50,000개 이상의 제약 조건을 가진 대규모 QSDP 문제를 17시간 이내에 해결한다.
• 잘 정의된 문제의 경우 QSDPNAL-제1단계만으로도 충분하며, 큰 문제에서도 30분 이내에 중간 정확도에 도달한다.
• 불안정하거나 어려운 문제에서는 제2단계가 제1단계보다 훨씬 뛰어나며, 고정밀도 해를 구하는 데 최대 16.5시간이 소요된다.
• 더 스마트하고 조건 수가 좋은 선형 시스템과 영향 수열의 사용으로 수치 오차가 감소하고 해법기의 안정성이 향상된다.
• 수치적 결과는 QSDPNAL이 센서 네트워크 위치 결정 및 SDP 근사 문제를 포함한 벤치마크 문제에서 항상 타당성 및 최적성 갭을 1e-6 이하로 유지함을 보여준다.