[논문 리뷰] An Optimal-Storage Approach to Semidefinite Programming using Approximate Complementarity

Lijun Ding, Alp Yurtsever외 3명|arXiv (Cornell University)|2019. 02. 09.

Advanced Optimization Algorithms Research참고 문헌 69인용 수 12

한 줄 요약

이 논문은 준거보완 원리를 활용하여 준거보완 원리를 통해 반정형계획문제(SDPs)를 해결하기 위한 저장 최적 알고리즘을 제안한다: 주어진 근사 이중 해를 바탕으로, 원본 해는 이중 여유 행렬의 작은 고유값에 대응하는 저차원 고유공간 내에 존재한다. 이 방법은 최적의 저장 복잡도를 달성하며, 특히 약한 제약 조건을 가진 SDPs에서 최소한의 메모리로 원본 해를 정확히 복원할 수 있다.

ABSTRACT

This paper develops a new storage-optimal algorithm that provably solves generic semidefinite programs (SDPs) in standard form. This method is particularly effective for weakly constrained SDPs. The key idea is to formulate an approximate complementarity principle: Given an approximate solution to the dual SDP, the primal SDP has an approximate solution whose range is contained in the eigenspace with small eigenvalues of the dual slack matrix. For weakly constrained SDPs, this eigenspace has very low dimension, so this observation significantly reduces the search space for the primal solution. This result suggests an algorithmic strategy that can be implemented with minimal storage: (1) Solve the dual SDP approximately; (2) compress the primal SDP to the eigenspace with small eigenvalues of the dual slack matrix; (3) solve the compressed primal SDP. The paper also provides numerical experiments showing that this approach is successful for a range of interesting large-scale SDPs.

연구 동기 및 목표

• 표준 방법이 이차 저장 비용으로 인해 비현실적이 되는 대규모 문제에서, 증명 가능하고 저장 최적의 반정형계획문제(SDPs) 해결 알고리즘을 개발하기 위해.
• 전체 원본 행렬 변수를 명시적으로 저장하지 않고도 근사 이중 해로부터 원본 해를 복원하는 데 도전하기 위해.
• 원본 변수의 탐색 공간을 저차원 부분공간으로 줄이는 데 이르는 이론적 기반인 준거보완 원리를 구축하기 위해.
• 이 방법이 저장 복잡도를 최적화하면서도 대규모 SDPs에서 수렴성과 정확성을 유지함을 보여주기 위해.
• 중규모 문제에서 기존 솔버인 SDPNAL+와 비교해 정확도와 시간 면에서 우수하거나 동등한 성능을 보여주는 수치적 검증을 제공하기 위해.

제안 방법

• 준거보완 원리의 근사적 형태를 수립: 임의의 근사 이중 해 $ y $에 대해, 이중 여유 행렬 $ C - abla ilde{ au}^* y $ 의 작은 고유값에 대응하는 고유공간에 포함되는 원본 해 $ X $ 가 존재한다.
• 최적의 저장 복잡도를 가진 이중 해를 구하는 해법(예: AdaGrad, AccelGrad)을 사용하여 근사 이중 해 $ y $ 를 계산하며, 이는 $ m $개의 제약 조건과 $ n $의 행렬 크기를 가정할 때 총 저장 비용이 $ O(mn) $ 이다.
• 원본 SDP 문제를 이중 여유 행렬의 저차원 고유공간으로 압축하여, 원본 변수 $ X $ 의 탐색 공간을 차원 $ r riangleq ext{rank}(X_ullet) $ 의 부분공간으로 줄인다. 이는 약한 제약 조건을 가진 SDPs에서 매우 작다.
• 압축된 원본 SDP 문제를 저차원 부분공간에서 사영형 또는 인수분해 형태로 풀어, 저장 복잡도를 $ n $ 에 대해 선형으로 유지함으로써 이차 저장 비용을 피한다.
• 압축된 부분공간을 사용하여 반복적으로 원본 해를 정밀화하는 복원 절차(예: 알고리즘 2)를 적용하며, 정규 조건 하에서 수렴 보장을 갖는다.
• 원본 해 복원 성능 평가를 위해 타당성과 목적 함수 최소화 하위문제(예: Eq. MinFeasSDP 및 Eq. MinObjSDP)를 모두 활용하여, 부적합성, 최적성 부족, 진짜 해와의 거리 측정 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 전체 $ n imes n $ 원본 행렬 변수를 저장하지 않으면서도 저장 최적의 알고리즘을 설계할 수 있는가?
• RQ2 근사 이중 해에 대해 원본 해가 이중 여유 행렬의 작은 고유값에 대응하는 저차원 고유공간 내에 존재하는 준거보완 원리가 성립하는가?
• RQ3 이중 해와 이중 여유 행렬의 구조만을 사용하여 저장 복잡도를 최적화하면서도 원본 해를 증명 가능하게 복원할 수 있는가?
• RQ4 압축된 부분공간의 랭크 $ r $ 선택이 원본 해 복원의 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 중규모 문제에서 기존의 SDP 솔버인 SDPNAL+와 비교해 정확도와 실행 시간 면에서 동등하거나 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 원본 변수를 이중 여유 행렬의 저차원 고유공간으로 압축함으로써 저장 복잡도를 최적화하며, 저장 비용을 $ O(n^2) $ 에서 $ O(nr) $ 로 줄였다. 여기서 $ r riangleq ext{rank}(X_ullet) $ 이다.
• 약한 제약 조건을 가진 SDPs(즉, $ m = O(n) $)에서는 이중 여유 행렬이 저랭크 성질을 가지므로, 작은 고유값에 대응하는 고유공간의 차원 $ r riangleq ext{rank}(X_ullet) $ 이 작아서 압축 효과가 크다.
• 수치 실험 결과, 진짜 랭크 $ r = r_ullet $ 또는 더 높은 랭크 $ r = 3r_ullet $ 를 사용할 경우, 부적합성, 최적성 부족, 진짜 해와의 거리 측정에서 수렴함을 확인했으며, 더 높은 $ r $ 를 사용할수록 수렴 속도가 빠르다.
• 중규모 문제(예: $ 10^4 imes 10^4 $)에서 이 방법은 100초 이내에 중간 정도의 정확도($ 10^{-3} $)를 달성하며, SDPNAL+와 동등하거나 슈퍼리어한 성능을 보였다.
• 이중 해법(AdaGrad, AdaNGD, AccelGrad)은 이중 측면에서 수렴하며, 원본 해 복원 과정에서도 모든 지표—부적합성, 최적성 부족, 진짜 해와의 거리—에서 수렴성을 유지한다. 특히 $ r = 3r_ullet $ 를 사용할 경우 더욱 뚜렷하다.
• 이론적 분석을 통해 이 방법이 일반적으로 성립하고 많은 응용 분야에서 성립하는 정규 SDPs(강한 이중성, 유일한 해, 엄밀한 보완성)를 증명 가능하게 해결함을 확인했다.