[논문 리뷰] The non-convex Burer-Monteiro approach works on smooth semidefinite programs

Nicolas Boumal, Vladislav Voroninski외 1명|arXiv (Cornell University)|2016. 06. 15.

Sparse and Compressive Sensing Techniques인용 수 42

한 줄 요약

이 논문은 부드러운 정수형 프로그래밍(SDP)을 해결하기 위한 비볼록 Burer-Monteiro 방법이 약한 조건 하에서 전역 수렴함을 입증한다: 거의 모든 목적 행렬에 대해, 저랭크 분해의 모든 이阶도 임계점은 전역적으로 최적이다. 핵심 결과는 랭크 매개변수가 제약 조건 수와 관련된 임계값을 초과할 경우, 허위 국소 최솟값이 거의 존재하지 않음을 보여주며, 이는 다양체 위에서의 신뢰할 수 있는 국소 최적화를 가능하게 한다.

ABSTRACT

Semidefinite programs (SDPs) can be solved in polynomial time by interior point methods, but scalability can be an issue. To address this shortcoming, over a decade ago, Burer and Monteiro proposed to solve SDPs with few equality constraints via rank-restricted, non-convex surrogates. Remarkably, for some applications, local optimization methods seem to converge to global optima of these non-convex surrogates reliably. Although some theory supports this empirical success, a complete explanation of it remains an open question. In this paper, we consider a class of SDPs which includes applications such as max-cut, community detection in the stochastic block model, robust PCA, phase retrieval and synchronization of rotations. We show that the low-rank Burer--Monteiro formulation of SDPs in that class almost never has any spurious local optima.

연구 동기 및 목표

• 비볼록 Burer-Monteiro 접근법이 비볼록성에도 불구하고 대규모 SDP를 해결하는 데 있어 오랫동안 관찰된 경험적 성공을 해소하기 위해.
• 저랭크 분해가 허위 국소 최적해를 갖지 않는 조건을 공식적으로 확립하기 위해.
• Burer-Monteiro 공식화에서 국소 최적화 방법의 신뢰성에 대한 이론적 기반을 명확히 하기 위해.
• 기존 결과를 강화하여, 표준 다양체 최적화 알고리즘이 도달할 수 있는 이阶도 임계점이 전역 최적성을 보장함을 보여주기 위해.
• 저랭크 탐색 공간의 다양체 구조에 대한 이전의 잘못된 가정을 수정하고 보완하여 엄밀한 기하학적 기초를 확보하기 위해.

제안 방법

• 검색 공간의 차원을 $ n \times n $ 에서 $ n \times p $ 로 줄이기 위해 $ X = YY^\top $ 를 통한 저랭크 최적화 문제로 SDP를 재구성한다.
• 매끄럽게 임bed된 부분다양체로 간주되는 타당 집합 $ \mathcal{M} = \{ Y \in \mathbb{R}^{n \times p} : \mathcal{A}(YY^\top) = b \} $ 를 정의한다.
• 더 강력한 제약 조건 충족 조건을 도입: 모든 $ Y \in \mathcal{M} $ 에 대해 행렬 $ A_1Y, \dots, A_mY $ 가 선형 독립이어야 하며, 이는 접선 공간 $ \mathrm{T}_Y\mathcal{M} $ 가 $ \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $ 와 일치함을 보장한다.
• 다양체 $ \mathcal{M} $ 상에서 일阶도 및 이阶도 최적성 조건을 분석하여, 모든 이阶도 임계점이 저랭크 문제에 대해 전역적으로 최적임을 보여준다.
• 미분기하학과 안정성 추론을 사용하여, 거의 모든 목적 행렬 $ C $ 에 대해 저랭크 공식화에서 허위 국소 최솟값이 존재하지 않음을 증명한다.
• 기존에 알려진 다양체 최적화 알고리즘이 이阶도 임계점으로 수렴함을 보여주며, 이는 제시된 조건 하에서 전역 최적화를 달성함을 의미한다.

실험 결과

연구 질문

• RQ1 비볼록 Burer-Monteiro 공식화가 허위 국소 최솟값을 갖지 않는 조건은 무엇인가?
• RQ2 왜 저랭크 분해에서 국소 최적화 방법은 실무적으로 전역 최적해로 안정적으로 수렴하는가?
• RQ3 어떤 기하학적 및 대수적 가정이 Burer-Monteiro 문제의 이阶도 임계점이 전역적으로 최적임을 보장하는가?
• RQ4 랭크 매개변수 $ p $ 는 제약 조건 수 $ m $ 과 어떻게 관련되어 있어야 허위 국소 최솟값이 존재하지 않도록 보장되는가?
• RQ5 타당 집합 $ \mathcal{M} $ 의 접선 공간의 정확한 특성은 무엇이며, 왜 이전 문헌에서의 가정은 부족한가?

주요 결과

• 강화된 제약 조건 충족 조건 하에서, 거의 모든 목적 행렬 $ C $ 에 대해 $ \frac{p(p+1)}{2} > m $ 를 만족할 경우, 저랭크 Burer-Monteiro 문제에 허위 국소 최솟값이 존재하지 않는다.
• 비볼록 문제의 모든 이阶도 임계점은 원래 SDP에 대해 전역적으로 최적이다. 즉, 국소 최적화 방법이 전역 수렴을 달성할 수 있다.
• 수정된 가정—모든 $ Y \in \mathcal{M} $ 에 대해 $ A_1Y, \dots, A_mY $ 가 선형 독립이어야 함—은 접선 공간 항등식 $ \mathrm{T}_Y\mathcal{M} = \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $ 이 성립함을 보장하며, 이는 이전에 잘못 가정된 바가 있다.
• 결과는 Max-Cut, 커뮤니티 탐지, 위상 복원, 동기화 문제를 포함한 광범위한 SDP 클래스에 적용 가능하다.
• 이론적 보장은 강건하다: 문제의 비볼록성에도 불구하고, 허위 국소 최솟값이 존재하지 않음으로써 효율적인 국소 최적화가 가능해진다.
• 수치 실험은 방법의 실용적 효율성과 신뢰성을 확인하며, 이는 이론적 결과와 일치한다.