[論文レビュー] The local convexity of solving systems of quadratic equations

Chris D. White, Sujay Sanghavi+1 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques参考文献 34被引用数 24

ひとこと要約

本稿では、等方的ガウス測定を用いた非凸な低ランク行列因子分解定式化において、勾配降下法による二次方程式系の解法が、解多様体に直交する方向で局所的強い凸性を示すことを確立している。$ m \geq Cnr/\log^2(n) $ 個のサンプルが得られれば、スペクトル初期化は高確率でこの凸領域に収束し、直交変換を除いて真の解への線形収束が可能になる。

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

研究の動機と目的

• 二次測定値から低ランク正定値行列を回復する際の非凸最適化の地形を理解すること。
• 勾配降下法が非凸性にもかかわらず線形収束する条件を同定すること。
• スペクトル初期化が高確率で局所的強い凸性領域に収束することを確立すること。
• 半定値緩和を必要とせずに、直交変換を除いて解が回復可能であることを示すこと。

提案手法

• 未知の行列 $ XX^T $ の低ランク因子 $ U \in \mathbb{R}^{n \times r} $ を用いて、損失関数 $ f(U) = \sum_i (y_i - a_i^T UU^T a_i)^2 $ を最小化する形で回復問題を定式化する。
• 損失関数のヘッセ行列を分析し、高確率で $ m \geq Cnr\log^2(n) $ の条件下で、解多様体に直交する方向において一様に正定値であることを証明する。
• 線形測定テンソルの主要な特異ベクトルに基づくスペクトル初期化を用いて $ U $ を初期化し、局所凸性領域内に位置させることを保証する。
• 測度濃縮と確率的行列理論を用いてヘッセ行列の期待値からの乖離を抑え、局所的強い凸性を確立する。
• 追加のサンプリングや再初期化を伴わず、局所最適化に準ニュートン法（MATLABの fminunc）を適用する。
• 勾配降下法が、与えられたサンプル複雑度のもとで、直交変換を除いて解多様体へ線形収束することを証明する。収束速度は次元に依存しない。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復のための非凸損失関数は、解多様体に直交する方向で、局所的強い凸性を示すか？
• RQ2 この問題において、スペクトル初期化が高確率で局所凸性領域に初期値を配置できるか？
• RQ3 局所的凸性と勾配降下法の収束を保証するための最小測定数（等方的ガウス測定）は何か？
• RQ4 再サンプリングを伴わず、一度の初期化で勾配降下法が真の解（直交変換を除いて）へ線形収束を達成できるか？

主な発見

• 等方的ガウス測定が $ m \geq Cnr\log^2(n) $ 個ある場合、解多様体に直交する方向において、高確率で次元に依存しない局所的強い凸性領域が存在する。
• 追加の $ r $ の多項式因子を加えることで、スペクトル初期化が高確率で局所凸性領域内に収束する。
• スペクトル初期化で初期化された勾配降下法は、再サンプリングを必要とせず、直交変換を除いて解多様体へ線形収束する。
• 収束速度は環境次元 $ n $ に依存せず、直交同値性のもとでグローバル回復が達成される。
• 数値実験により、加法的ノイズに対して頑健であり、異なる測定集合における回復性能の段階的転移が確認された。
• 理論的枠組みは、同様の局所的凸性構造を示す他の非凸問題への広範な応用可能性を示唆している。