[논문 리뷰] A Grothendieck-type inequality for local maxima

Andrea Montanari|arXiv (Cornell University)|2016. 03. 13.

Point processes and geometric inequalities참고 문헌 1인용 수 10

한 줄 요약

이 논문은 랭크 제약을 가진 준정수형 프로그래밍에서 국소 최대값에 대한 그로텐디크 유형 부등식을 수립하여, 구구형 다양체 위에서 비볼록 문제의 모든 국소 최적해가 진짜 SDP 최적해로부터 $ O(n\|\mathbf{A}\|_2 / \sqrt{k}) $ 이내임을 증명한다. 이 결과는 그래프 클러스터링과 같은 대규모 문제에서 저랭크 비볼록 최적화의 경험적 성공을 설명하며, $ \|\mathbf{A}\|_2 = \Theta(1) $ 이고 $ \text{SDP}(\mathbf{A}) = \Theta(n) $ 이면 상수 $ k $ 만으로도 상대 오차를 임의로 작게 만들 수 있음을 보여준다.

ABSTRACT

A large number of problems in optimization, machine learning, signal processing can be effectively addressed by suitable semidefinite programming (SDP) relaxations. Unfortunately, generic SDP solvers hardly scale beyond instances with a few hundreds variables (in the underlying combinatorial problem). On the other hand, it has been observed empirically that an effective strategy amounts to introducing a (non-convex) rank constraint, and solving the resulting smooth optimization problem by ascent methods. This non-convex problem has --generically-- a large number of local maxima, and the reason for this success is therefore unclear. This paper provides rigorous support for this approach. For the problem of maximizing a linear functional over the elliptope, we prove that all local maxima are within a small gap from the SDP optimum. In several problems of interest, arbitrarily small relative error can be achieved by taking the rank constraint $k$ to be of order one, independently of the problem size.

연구 동기 및 목표

• 대규모 준정수형 프로그래밍을 해결하는 데 있어서 랭크 제약을 가진 비볼록 최적화의 경험적 성공을 엄밀하게 정당화하기 위해.
• 랭크 제약 문제 $ \max_{\mathbf{\sigma} \in \mathcal{S}(n,k)} F_{\mathbf{A}}(\mathbf{\sigma}) $ 의 국소 최대값 품질을 분석하기 위해, 여기서 $ \mathcal{S}(n,k) $ 는 $ k-1 $-구의 곱이다.
• 국소 최대값과 진짜 SDP 최적해 사이의 정량적 갭을 수립하여, 이 갭이 $ k $ 가 증가함에 따라 감소함을 보여주기 위해.
• 비볼록성과 국소 최대값의 다수 존재에도 불구하고, 저랭크 다양체 위에서의 경사 또는 좌표 상승법 사용에 대한 이론적 근거를 제공하기 위해.
• 특히 $ \mathbb{Z}_2 $ 동기화 및 희박한 스토케스틱 블록 모델과 같은 많은 문제들에서, 상수 $ k $ 만으로도 상대 오차를 임의로 작게 만들 수 있음을 보여주기 위해.

제안 방법

• 단위 벡터 $ \mathbf{\sigma}_i \in \mathbb{R}^k $ 를 매개변수로 사용하여 다양체 $ \mathcal{S}(n,k) \simeq (S^{k-1})^n $ 위에서 랭크 제약을 가진 SDP 를 부드러운 최적화 문제로 재구성한다.
• 목적 함수 $ F_{\mathbf{A}}(\mathbf{\sigma}) = \sum_{i,j} A_{ij} \langle \mathbf{\sigma}_i, \mathbf{\sigma}_j \rangle $ 를 정의하며, 이는 랭크-$ k $ 제약 조건이 있는 타원체 위의 선형 기능에 해당한다.
• 이차 정류 조건을 사용하여 $ F_{\mathbf{A}} $ 의 국소 최대값을 분석하고, 스펙트럼 분해와 섭동 분석을 통해 경계를 유도한다.
• 해의 분해을 위해 잔차 성분을 제어하기 위해 벡터 $ \mathbf{z} $ 와 투영 $ \tilde{\mathbf{u}}_i $ 를 도입한다.
• 핵심 노름과 프로베니우스 노름 경계를 포함한 행렬 노름 부등식을 적용하여 잔차 성분에 의해 유도되는 오차를 제어한다.
• 카우치-슈바르츠 및 스펙트럼 경계를 사용하여 최종 갭 추정치 $ F_{\mathbf{A}}(\mathbf{\sigma}) \geq \text{SDP}(\mathbf{A}) - \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $ 를 유도하며, 이는 모든 국소 최대값의 near-optimality 를 증명한다.

실험 결과

연구 질문

• RQ1 비볼록성과 국소 최대값의 다수 존재에도 불구하고, 저랭크 다양체 위에서의 경사 또는 좌표 상승법가 왜 항상 SDP 최적해에 가까운 해를 찾는가?
• RQ2 랭크 제약 문제의 임의의 국소 최대값과 진짜 SDP 최적해 사이의 최악의 경우 근사 갭은 얼마인가?
• RQ3 문제 크기 $ n $ 과 무관하게 근사 오차를 경계할 수 있으며, 이는 랭크 $ k $ 와 어떻게 척도화되는가?
• RQ4 $ \mathbb{Z}_2 $ 동기화 또는 희박한 스토케스틱 블록 모델과 같은 문제들에서, 상대 오차를 임의로 작게 만들기 위해 어떤 $ k $ 값이 충분한가?
• RQ5 버러-몬테이로의 고랭크 영역에서 임의의 허위 국소 최대값이 존재하지 않는다는 사실이 저랭크에서의 성공을 설명하는가, 아니면 다른 메커니즘이 존재하는가?

주요 결과

• 랭크 제약 문제 $ \text{OPT}_k(\mathbf{A}) $ 의 모든 국소 최대값은 진짜 SDP 최적해 $ \text{SDP}(\mathbf{A}) $ 에서 $ \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $ 이내에 있으며, 이는 정리 1에 의해 명시된다.
• $ \|\mathbf{A}\|_2 = \Theta(1) $ 이고 $ \text{SDP}(\mathbf{A}) = \Theta(n) $ 인 문제들에서는 $ k $ 를 $ n $ 과 무관한 상수로 선택함으로써 상대 오차 $ \frac{\text{SDP}(\mathbf{A}) - F_{\mathbf{A}}(\mathbf{\sigma})}{\text{SDP}(\mathbf{A})} $ 를 임의로 작게 만들 수 있다.
• $ \mathbb{Z}_2 $ 동기화 문제에서는 상대 오차가 $ O(1/\sqrt{k}) $ 로 경계되며, $ k=20 $ 이면 고확률로 신호를 복원할 수 있다.
• 희박한 스토케스틱 블록 모델에서는 그래프를 수정함으로써 필요한 $ k $ 를 $ O(1) $ 로 줄일 수 있으며, 이는 직접 적용했을 때의 $ k = C\sqrt{\log n / \log \log n} $ 경계를 향상시킨다.
• 증명은 이차 정류 조건, 스펙트럼 분해, 그리고 $ \ell_2 $ 와 핵심 노름 경계를 통한 잔차 성분의 정밀한 제어에 기반한다.
• 최종 경계 $ \langle \mathbf{v}, \mathbf{A} \mathbf{v} \rangle \leq F_{\mathbf{A}}(\mathbf{\sigma}) + \frac{5\sqrt{2}}{\sqrt{k}} n \|\mathbf{A}\|_2 $ (여기서 $ 5\sqrt{2} < 8 $) 는 제시된 갭을 확인한다.