[논문 리뷰] SDPNAL+: A Matlab software for semidefinite programming with bound constraints (version 1.0)

Defeng Sun, Kim-Chuan Toh외 2명|arXiv (Cornell University)|2017. 10. 29.

Advanced Optimization Algorithms Research참고 문헌 19인용 수 3

한 줄 요약

SDPNAL+는 bound 제약 조건을 가진 대규모 준선형계획문제(SDPs)를 효율적으로 해결하기 위해 비정확한 대칭 Gauss-Seidel 기반 준가속적 ADMM/ALM 프레임워크를 사용하는 MATLAB 소프트웨어 패키지이다. 보완된 라그랑주 방법과 주도된 반연속 뉴턴-CG 방법을 융합하여 높은 성능을 달성하였으며, 745개의 테스트 SDP 인스턴스 중 98.9%를 상대 KKT 잔여 오차 정확도 10⁻⁶로 해결하였다.

ABSTRACT

SDPNAL+ is a {\sc Matlab} software package that implements an augmented Lagrangian based method to solve large scale semidefinite programming problems with bound constraints. The implementation was initially based on a majorized semismooth Newton-CG augmented Lagrangian method, here we designed it within an inexact symmetric Gauss-Seidel based semi-proximal ADMM/ALM (alternating direction method of multipliers/augmented Lagrangian method) framework for the purpose of deriving simpler stopping conditions and closing the gap between the practical implementation of the algorithm and the theoretical algorithm. The basic code is written in {\sc Matlab}, but some subroutines in C language are incorporated via Mex files. We also design a convenient interface for users to input their SDP models into the solver. Numerous problems arising from combinatorial optimization and binary integer quadratic programming problems have been tested to evaluate the performance of the solver. Extensive numerical experiments conducted in [Yang, Sun, and Toh, Mathematical Programming Computation, 7 (2015), pp. 331--366] show that the proposed method is quite efficient and robust, in that it is able to solve 98.9\% of the 745 test instances of SDP problems arising from various applications to the accuracy of $ 10^{-6}$ in the relative KKT residual.

연구 동기 및 목표

• 크기와 제약 조건이 있는 대규모 준선형계획문제(SDPs)를 해결하기 위한 강력하고 효율적인 소프트웨어 패키지 개발
• 이론적 알고리즘과 실용적 구현 간 격차를 해소하기 위해 더 단순한 정지 조건 설계
• 조합 최적화, 이진 정수 2차 계획법 및 기타 애플리케이션에서 유래하는 SDP 문제의 효율적 해결 지원
• 매트릭스 차원이 중간 수준(n < 5000)이지만 선형 제약 조건의 수가 매우 많음(m + p > 100만)인 문제 지원
• MATLAB에서 SDP 문제를 모델링하고 해결하기 위한 사용자 友好的 인터페이스 제공

제안 방법

• 수렴성을 향상시키고 정지 조건을 단순화하기 위해 비정확한 대칭 가우스-자이델 기반 준가속적 ADMM/ALM 프레임워크를 사용
• 보완된 라그랑주 프레임워크 내에서 주도된 반연속 뉴턴-CG 방법을 통합하여 하위문제를 효율적으로 해결
• 제약 조건을 이중화하고 페널티 항을 통해 원본 타당성을 강제하기 위해 보완된 라그랑주 접근법 사용
• 성능에 민감한 서브루틴을 C 언어 MEX 파일로 사용하고, SDP 모델 입력을 위한 구조화된 인터페이스 포함
• 변수 블록 X^(j)가 대칭 콘 또는 다각형 경계에 있는 단일 블록 및 다중 블록 SDP 공식화 모두 처리 가능
• 내적 곱을 통한 내적 연산으로 정의된 일반 선형 사상 A^(j) 및 B^(j) 지원

실험 결과

연구 질문

• RQ1 비정확한 대칭 가우스-자이델 기반 ADMM/ALM 프레임워크는 기존 반연속 뉴턴-CG 방법보다 더 나은 실용적 수렴성과 더 단순한 정지 조건을 달성할 수 있는가?
• RQ2 매트릭스 차원이 중간 수준(n < 5000)이지만 선형 제약 조건의 수가 매우 많음(m + p > 100만)인 SDP 문제를 솔버는 얼마나 효율적으로 처리할 수 있는가?
• RQ3 조합 최적화 및 양자 화학 문제를 포함한 다양한 SDP 응용 분야에서 솔버는 얼마나 높은 강건성과 정확도를 유지하는가?
• RQ4 매트릭스 차원 n과 제약 조건 수 m + p 측면에서 솔버의 확장성은 기존 솔버(SDPT3 또는 SeDuMi)와 비교해 어떻게 되는가?
• RQ5 사용자 인터페이스는 저수준 프로그래밍 없이도 복잡한 SDP 문제를 모델링하고 해결하는 데 얼마나 효과적인가?

주요 결과

• 솔버는 745개의 테스트 SDP 인스턴스 중 98.9%를 상대 KKT 잔여 오차 정확도 10⁻⁶로 성공적으로 해결하였다.
• 고정된 매트릭스 차원 n에 대해 시간 복잡도가 (m + p)^0.22로 스케일링되며, 제약 조건 수에 대한 강력한 확장성 나타냄.
• 매트릭스 차원 n ≤ 100인 경우, 제약 조건 수 m + p ≤ 1,000인 문제의 평균 해결 시간은 2.04초였다.
• n > 3200 및 m + p > 1,024,000인 큰 문제에 대해서는 평균 해결 시간이 11,512.53초로 다섯 개 인스턴스에서 측정되어 극단적인 경우의 확장성 입증.
• 최대 안정 집합, 2차 할당 문제, 강건 클러스터링, 양자 화학의 전자 구조 문제 등 다양한 응용 분야에서 우수한 성능 기록.
• 해결 시간 회귀 모델 T_rg = 0.00274 × (m + p)^0.220 × n^1.357 이 707개의 테스트 인스턴스에서 관측된 성능과 매우 유사하게 일치함.