[논문 리뷰] The local convexity of solving systems of quadratic equations

Chris D. White, Sujay Sanghavi외 1명|arXiv (Cornell University)|2015. 06. 25.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 24

한 줄 요약

이 논문은 등방성 가우시안 측정을 사용할 때 비볼록 낮은 질량 행렬 분해 공식화에서 경사하강법을 통해 이차 방정식계를 풀면, 해의 다양체에 수직인 방향에서 국소 강한 볼록성이 나타남을 입증한다. $ m \geq Cnr/\log^2(n) $개의 샘플이 있을 경우, 스펙트럼 초기화는 높은 확률로 이 볼록 영역 내에 위치하게 되며, 이로 인해 올바른 해로의 선형 수렴이 가능해진다.

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

연구 동기 및 목표

• 이차 측정값으로부터 낮은 질량 양의 정부호 행렬을 복원하는 비볼록 최적화 지형을 이해하는 것.
• 비볼록성에도 불구하고 경사하강법이 선형 수렴할 수 있는 조건을 규명하는 것.
• 스펙트럼 초기화가 높은 확률로 국소 강한 볼록성 영역 내에 위치함을 입증하는 것.
• 반드시 정수형 이완을 필요로 하지 않는, 직교 변환을 제외한 해의 복원 가능성을 보여주는 것.

제안 방법

• 알려지지 않은 행렬 $ XX^T $의 낮은 질량 인수 $ U \in \mathbb{R}^{n \times r} $를 고려하여 손실 함수 $ f(U) = \sum_i (y_i - a_i^T UU^T a_i)^2 $를 최소화하는 문제로 복원 문제를 공식화한다.
• 손실 함수의 헤시안을 분석하고, $ m \geq Cnr\log^2(n) $일 경우, 높은 확률로 해의 다양체에 수직인 방향에서 헤시안이 균일하게 양의 정부호임을 증명한다.
• 선형 측정 텐서의 주요 특이벡터를 기반으로 한 스펙트럼 초기화를 통해 $ U $를 초기화하여, 국소 볼록성 영역 내에 위치하도록 보장한다.
• 측도 집중 이론과 난수 행렬 이론을 활용하여 헤시안의 기대값에서의 편차를 유계로 제한함으로써 국소 강한 볼록성을 확립한다.
• 추가 샘플링이나 재초기화 없이, 국소 최적화에 퀼라-뉴턴 방법(fminunc in MATLAB)을 적용한다.
• 경사하강법이 제시된 샘플 복잡도 조건 하에 직교 변환을 제외한 해의 다양체로 선형 수렴함을 증명한다. 수렴 속도는 차원에 영향을 받지 않으며, 전역 복원이 직교 동치성에 대해 달성된다.

실험 결과

연구 질문

• RQ1 낮은 질량 행렬 복원을 위한 이차 측정값에서의 비볼록 손실 함수는 해의 다양체에 수직인 방향에서 국소 강한 볼록성을 보일까?
• RQ2 이 문제에 대해 스펙트럼 초기화가 높은 확률로 국소 볼록성 영역 내에 위치시킬 수 있을까?
• RQ3 국소 볼록성과 경사하강법의 수렴을 보장하기 위해 필요한 등방성 가우시안 측정의 최소 수는 얼마일까?
• RQ4 재샘플링 없이 단일 초기화로도 경사하강법이 진짜 해로 직교 변환까지 선형 수렴을 이룰 수 있을까?

주요 결과

• 등방성 가우시안 측정이 $ m \geq Cnr\log^2(n) $개일 경우, 높은 확률로 해의 다양체에 수직인 방향에서 차원에 의존하지 않는 국소 강한 볼록성 영역이 존재한다.
• 추가로 다항식 계수 $ r $를 곱하면, 스펙트럼 초기화가 높은 확률로 국소 볼록성 영역 내에 위치하게 된다.
• 스펙트럼 초기화로 초기화된 경사하강법은 재샘플링 없이도 해의 다양체로 직교 변환까지 선형 수렴한다.
• 수렴 속도는 임베딩 차원 $ n $에 영향을 받지 않으며, 방법은 직교 동치성에 대해 전역 복원을 달성한다.
• 수치 실험을 통해 추가 노이즈에 대한 강건성과 다양한 측정 집합에서의 복원 성능 전이 현상이 확인되었다.
• 이론적 프레임워크는 유사한 국소 볼록성 구조를 가진 다른 비볼록 문제로의 광범위한 적용 가능성을 시사한다.