[논문 리뷰] The Local Convexity of Solving Quadratic Equations

Chris D. White, Rachel Ward외 1명|arXiv (Cornell University)|2015. 06. 25.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 $ m \geq C nr \log^2 n $ 개의 등방향 가우시안 측정값이 제공될 경우, 정규화된 비볼록 손실 함수를 최소화하여 낮은 질량의 양의 준정적 행렬을 복원할 때, 해의 다양체에 수직인 방향으로 국소 강력 볼록성이 나타남을 입증한다. 추가로 $ r $ 에 대한 다항식 인자만큼 $ m $ 이 증가하면 스펙트럼 초기화가 반복값을 이 볼록 영역 내에 놓으며, 이로 인해 수직 변환까지의 진짜 해로의 그라디언트 디센트의 선형 수렴이 가능해진다.

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

연구 동기 및 목표

• 이차 측정값으로부터 낮은 질량의 양의 준정적 행렬을 복원하는 비볼록 최적화 지형을 이해하는 것.
• 비볼록성에도 불구하고 그라디언트 디센트가 선형 수렴할 수 있는 조건을 설정하는 것.
• 스펙트럼 초기화가 반복값을 국소 강력 볼록 영역 내에 안정적으로 놓는다는 것을 보여주는 것.
• 국소 볼록성이 차원에 독립적임을 보이며, 약한 측정 조건 하에서 높은 확률로 달성 가능하다는 것을 보여주는 것.
• 국소 볼록성과 초기화를 통해 더 넓은 범주에 걸친 비볼록 문제로의 접근을 일반화하는 것.

제안 방법

• $ U \in \mathbb{R}^{n \times r} $ 에서의 비볼록 손실 함수 $ f(U) = \sum_i (y_i - a_i^T U U^T a_i)^2 $ 를 최소화하는 방식으로 복원 문제를 수립한다.
• 해의 다양체를 $ \{XO \mid O \in \mathcal{O}_r\} $ 로 식별하며, 여기서 $ X X^T $ 는 목표 행렬이다.
• 함수 $ f(U) $ 의 헤시안을 분석하여 해의 다양체에 수직인 방향으로 차원에 독립적인 국소 강력 볼록 영역의 존재를 증명한다.
• 임의의 행렬 이론을 사용하여 $ m \geq C nr \log^2 n $ 개의 등방향 가우시안 측정값이 있을 경우, 이 볼록 영역이 높은 확률로 존재함을 보여준다.
• 반복값을 국소 볼록 영역 내에 놓을 수 있도록 $ m $ 이 $ r $ 에 대한 다항식 인자만큼 증가할 경우, 스펙트럼 초기화 방법을 사용한다.
• 국소 볼록성과 그라디언트 디센트를 조합하여 수직 변환까지의 진짜 해로의 선형 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 어떤 측정 조건 하에서 비볼록 손실 함수가 해의 다양체에 수직인 방향으로 국소 강력 볼록 영역을 가질 수 있는가?
• RQ2 스펙트럼 초기화가 반복값을 이 볼록 영역 내에 높은 확률로 놓을 수 있는가?
• RQ3 국소 볼록성과 성공적인 초기화를 보장하기 위해 필요한 최소 측정 수는 얼마인가?
• RQ4 반복값이 이 볼록 영역 내에 초기화된 경우, 그라디언트 디센트는 해의 다양체로 선형 수렴하는가?
• RQ5 이 틀은 비슷한 기하학적 구조를 가진 다른 비볼록 문제로 확장될 수 있는가?

주요 결과

• $ m \geq C nr \log^2 n $ 개의 등방향 가우시안 측정값이 있을 경우, 손실 함수는 해의 다양체에 수직인 방향으로 높은 확률로 국소 강력 볼록성을 보인다.
• 국소 강력 볼록 영역은 차원에 독립적이며, 이는 $ n $ 이 증가함에 따라 그 품질이 악화되지 않음을 의미한다.
• $ m $ 이 $ r $ 에 대한 다항식 인자만큼 증가하면, 스펙트럼 초기화가 반복값을 이 볼록 영역 내에 높은 확률로 놓는다.
• 이 볼록 영역 내에서 초기화된 그라디언트 디센트는 수직 변환까지의 진짜 해로 선형 수렴한다.
• 이론적 틀은 국소 볼록성이 초기화를 통해 도달 가능한 다른 비볼록 문제로의 광범위한 적용 가능성을 시사한다.
• 결과는 낮은 질량 행렬 복원에서 정규화된 반정적 프로그래밍을 사용하지 않고도 그라디언트 디센트의 경험적 성공에 대한 이론적 근거를 제공한다.