[논문 리뷰] Solving SDPs for synchronization and MaxCut problems via the Grothendieck inequality

Mei Song, Theodor Misiakiewicz외 2명|arXiv (Cornell University)|2017. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 35

한 줄 요약

이 논문은 MaxCut 및 동기화 문제에서 발생하는 랭크 제약이 있는 준선형계획법(SDP)에 대해 그로텐디크 유형 부등식을 수립하며, 랭크가 일정할 경우 모든 국소 최대값이 전역 최적해와 작은 곱셈 갭 내에 있음을 증명한다. 이는 랭크 $k$일 때 Riemannian trust-region 방법이 MaxCut 문제에 대해 $(1 - 1/(k-1)) \times 0.878$의 근사값을 달성하며, 온건한 조건 하에서 near-최적 해로 수렴함을 보여주며, 저랭크 해법의 경험적 성공을 설명한다.

ABSTRACT

A number of statistical estimation problems can be addressed by semidefinite programs (SDP). While SDPs are solvable in polynomial time using interior point methods, in practice generic SDP solvers do not scale well to high-dimensional problems. In order to cope with this problem, Burer and Monteiro proposed a non-convex rank-constrained formulation, which has good performance in practice but is still poorly understood theoretically. In this paper we study the rank-constrained version of SDPs arising in MaxCut and in synchronization problems. We establish a Grothendieck-type inequality that proves that all the local maxima and dangerous saddle points are within a small multiplicative gap from the global maximum. We use this structural information to prove that SDPs can be solved within a known accuracy, by applying the Riemannian trust-region method to this non-convex problem, while constraining the rank to be of order one. For the MaxCut problem, our inequality implies that any local maximizer of the rank-constrained SDP provides a $ (1 - 1/(k-1)) imes 0.878$ approximation of the MaxCut, when the rank is fixed to $k$. We then apply our results to data matrices generated according to the Gaussian ${\mathbb Z}_2$ synchronization problem, and the two-groups stochastic block model with large bounded degree. We prove that the error achieved by local maximizers undergoes a phase transition at the same threshold as for information-theoretically optimal methods.

연구 동기 및 목표

• 대규모 MaxCut 및 동기화 문제에서 저랭크, 비볼록 SDP 해법의 경험적 성공을 설명하기 위해.
• 국소 최대값에 대한 그로텐디크 유형 부등식을 증명하여 랭크 제약이 있는 SDP의 이론적 보장을 수립하기 위해.
• 비볼록, 저랭크 문제에 대해 Riemannian trust-region 방법이 전역 최적해와 알려진 근사 갭 내의 해로 수렴함을 보여주기 위해.
• 동기화 문제에서 국소 최대값의 계기 전이 행동을 분석하고 정보 이론적으로 최적인 방법의 임계점과 비교하기 위해.

제안 방법

• MaxCut 및 ${\rm SO}(d)$-동기화 문제의 랭크 제약이 있는 SDP에서 국소 최대값과 전역 최적해 간의 갭을 제한하는 그로텐디크 유형 부등식을 유도함.
• 행의 Frobenius 노름이 1인 랭크-$k$ 행렬의 다양체 위에서 비볼록 문제를 해결하기 위해 Riemannian trust-region(RTR) 방법을 사용함.
• 곡률과 기울기 행동을 분석하여 수렴 속도를 확립하며, RTR 알고리즘에서 고유값 단계와 기울기 단계를 구분함.
• 세계계 도함수와 헤시안 곡률에 대한 경계를 적용하여 각 반복에서 최고 곡률의 하한을 유도하고, 이를 최적성과의 갭과 연결함.
• 문제의 구조를 활용하여 랭크가 $k$일 때 MaxCut의 근사 갭이 $ (1 - 1/(k-1)) \times 0.878 $임을 증명함.
• ${\mathbb{Z}}_{2}$ 동기화 및 이중군 스토케스틱 블록 모델에 이 프레임워크를 적용하여, 계기 전이 임계점이 최적 방법과 일치함을 보임.

실험 결과

연구 질문

• RQ1 MaxCut 및 동기화 문제의 저랭크, 비볼록 SDP 공식화에서 국소 최대값에 대해 그로텐디크 유형 부등식을 수립할 수 있는가?
• RQ2 랭크 제약이 있는 다양체 위에서 Riemannian trust-region 방법이 이 문제들에 대해 전역 최적해와 상수 곱셈 갭 내의 해로 수렴하는가?
• RQ3 랭크 제약이 있는 MaxCut 문제에서 국소 최대값의 근사 품질은 무엇이며, 이는 랭크 $k$에 따라 어떻게 스케일링되는가?
• RQ4 ${\mathbb{Z}}_{2}$ 동기화 및 스토케스틱 블록 모델에서 국소 최대값이 정보 이론적으로 최적인 방법과 동일한 임계점에서 계기 전이를 겪는가?

주요 결과

• MaxCut 문제에서, 랭크-$k$ 비볼록 SDP의 임의의 국소 최대값은 전역 최적해의 $ (1 - 1/(k-1)) \times 0.878 $ 근사값을 제공한다.
• Riemannian trust-region 방법은 $ T = \tilde{O}(n \max(\|A\|_2^2/\varepsilon^2, \|A\|_1/\varepsilon)) $ 반복 내에 최적값으로부터 $ \varepsilon $ 이내의 해로 수렴하며, $ \tilde{O} $는 로그 인자를 숨김.
• MaxCut의 근사 갭은 $ \frac{1}{k-1}(\text{SDP}(A) + \text{SDP}(-A)) $로 제한되며, $ k = O(1) $일 때 이 값은 작다.
• ${\mathbb{Z}}_{2}$ 동기화 문제에서 큰 유계 차수를 가진 경우, 국소 최대값의 오차는 정보 이론적으로 최적인 방법과 동일한 임계점에서 계기 전이를 겪는다.
• 수렴 속도는 $ O(\|A\|_1 n \sqrt{n/T}) $ 수준이며, 헤시안 곡률이 클 경우 향상됨.
• 분석을 통해 랭크 $ k = O(1) $일 때 Riemannian trust-region 방법이 대규모 MaxCut 및 동기화 문제에 대해 이론적으로 타당함을 확인함.