[논문 리뷰] Smoothed analysis for low-rank solutions to semidefinite programs in quadratic penalty form

Srinadh Bhojanapalli, Nicolas Boumal외 2명|arXiv (Cornell University)|2018. 03. 01.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 16

한 줄 요약

이 논문은 Burer–Monteiro 인수분해 내에서 제곱형 벌점 공식을 사용하여, 준정형계획법(SDPs)의 저질적 해에 대한 부드러운 분석 프레임워크를 제안한다. $ k = \tilde{\Omega}(\sqrt{m}) $ 일 때, 페널티 처리된, 소음이 가미된 문제의 모든 이차 정류점(SOSPs)이 근사적으로 최적임을 보이며, 비정상적인 경우를 피하기 위해 목적함수 행렬에 무작위 소음을 도입한다.

ABSTRACT

Semidefinite programs (SDP) are important in learning and combinatorial optimization with numerous applications. In pursuit of low-rank solutions and low complexity algorithms, we consider the Burer--Monteiro factorization approach for solving SDPs. We show that all approximate local optima are global optima for the penalty formulation of appropriately rank-constrained SDPs as long as the number of constraints scales sub-quadratically with the desired rank of the optimal solution. Our result is based on a simple penalty function formulation of the rank-constrained SDP along with a smoothed analysis to avoid worst-case cost matrices. We particularize our results to two applications, namely, Max-Cut and matrix completion.

연구 동기 및 목표

• 저질적 인수분해를 통한 변수 차원 감소를 통해 대규모 준정형계획법(SDPs)을 효율적으로 해결하는 데 도전한다.
• Burer–Monteiro 인수분해된 SDP 공식화에서 비볼록성과 제약 조건의 복잡성을 극복한다.
• 페널티 처리된, 인수분해된 문제의 이차 정류점(SOSPs)이 전역적으로 최적임을 보장하는 조건을 설정한다.
• 희박한 비정상적인 목적함수 행렬이 하위최적의 SOSPs를 생성하는 것을 피하기 위해 부드러운 분 析을 사용한다.
• 제약 조건 위반과 목적함수의 최적성 편차가 유한한 경우, 실제적으로 근사 최적해를 확보하기 위해 이론적 보장을 확장한다.

제안 방법

• Burer–Monteiro 인수분해를 사용해 질서 제약이 있는 SDP를 공식화한다: $ X = UU^T $, 변수 수를 $ O(n^2) $ 에서 $ O(nk) $ 로 감소시킨다.
• 제약 조건에 제곱형 벌점을 적용하여 문제를 $ \min_U L_\mu(U) = \langle C, UU^T \rangle + \mu \sum_i (\langle A_i, UU^T \rangle - b_i)^2 $ 로 변환한다.
• 목적함수 행렬 $ C $ 에 작은 i.i.d. 가우시안 노이즈를 추가함으로써 부드러운 분석을 사용하여, 모든 SOSPs가 근사적으로 최적임을 높은 확률로 보장한다.
• 기울기와 헤시안 조건을 통한 이차 정류점(SOSPs) 분석: 기울기 노름이 작고, 헤시안의 최소 음성 곡률을 갖는다.
• 편미분 이론과 스펙트럼 노름을 사용해 해의 잔여항(제약 위반)과 목적함수의 최적성 편차에 대한 경계를 설정한다.
• 수렴 보장을 갖는 경사하강법 적용: $ \widetilde{O}(1/\epsilon^2) $ 반복 내에 $ (\epsilon, \rho^2) $-SOSP에 도달하며, Nesterov 가속을 사용하면 $ \widetilde{O}(1/\epsilon^{1.75}) $ 로 향상된다.

실험 결과

연구 질문

• RQ1 페널티 처리된, 인수분해된 SDP의 모든 이차 정류점(SOSPs)이 전역적으로 최적일 조건은 무엇인가?
• RQ2 부드러운 분 析을 통해 하위최적의 SOSPs를 유도하는 비정상적인 목적함수 행렬의 집합을 제거할 수 있는가?
• RQ3 목적함수 행렬에 무작위 소음을 도입한 후, 페널티 처리된 문제의 SOSPs가 근사적으로 최적임을 확보하기 위해 필요한 최소 질서 $ k $ 는 얼마인가?
• RQ4 페널티 처리된, 인수분해된 공식화에서 경사 기반 방법의 수렴 속도는 문제 매개변수에 어떻게 의존하는가?
• RQ5 이론적 보장은 페널티 처리된, 소음이 가미된 문제(4)에서 원래의 SDP(1)로 확장될 수 있는가?

주요 결과

• $ k = \tilde{\Omega}(\sqrt{m}) $ 일 때, 페널티 처리된, 소음이 가미된 문제의 모든 이차 정류점(SOSPs)이 높은 확률로 근사적으로 최적이다.
• 소음이 가미된 경사하강법은 $ \widetilde{O}(1/\epsilon^2) $ 반복 내에 $ (\epsilon, \rho^2) $-SOSP에 수렴하며, Nesterov 가속을 사용하면 $ \widetilde{O}(1/\epsilon^{1.75}) $ 로 향상된다.
• 헤시안이 유계이고 목적함수 행렬이 i.i.d. 가우시안 노이즈로 소음이 가미된 경우, 모든 SOSPs는 유계 잔여항을 가지며 근사적으로 최적이다.
• 양의 정부호 목적함수 행렬과 컴acts SDP의 경우, 페널티 처리된 문제의 SOSPs는 유계 해(잔여항)를 가지며 안정성을 보장한다.
• 일부 조건 하에서 원래의 SDP(1)에 대해 근사 최적성을 달성하며, 이론적 보장은 Max-Cut 및 행렬 완성 응용 분야로 확장된다.
• 밀도 있는 문제의 경우 반복당 계산 복잡도는 $ O(mn^2k) $ 이지만, 제약 행렬의 희소성 덕분에 희소 환경에서는 상당히 감소한다.