[論文レビュー] The Local Convexity of Solving Quadratic Equations

Chris D. White, Rachel Ward+1 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

この論文は、$ m \geq C nr \log^2 n $ 個の等方的ガウス測定値が利用可能な場合、低ランクの正定値行列を二次測定値から回復するための非凸損失関数の最小化が、解多様体に直交する方向において局所的強い凸性を示すことを確立している。$ r $ における多項式因子を追加することで、スペクトル初期化は反復点をこの凸領域内に配置でき、これにより勾配降下法は直交変換を除いて真の解へ線形収束する。

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

研究の動機と目的

• 二次測定値からの低ランク正定値行列回復における非凸最適化の様相を理解すること。
• 非凸性にもかかわらず勾配降下法が線形収束する条件を確立すること。
• スペクトル初期化が反復点を局所的強い凸性領域内に確実に配置できることを示すこと。
• 局所的凸性が次元に依存せず、かつ緩いサンプリング条件下でも高確率で達成可能であることを示すこと。
• 局所的凸性と初期化を用いて、より広範な非凸問題クラスへとこのアプローチを一般化すること。

提案手法

• 行列 $ U \in \mathbb{R}^{n \times r} $ における非凸損失関数 $ f(U) = \sum_i (y_i - a_i^T U U^T a_i)^2 $ の最小化として回復問題を定式化する。
• 解多様体を $ \{XO \mid O \in \mathcal{O}_r\} $ と特定し、ここで $ X X^T $ が目的の行列である。
• $ f(U) $ のヘッセ行列を解析して、解多様体に直交する方向における次元に依存しない局所的強い凸性領域の存在を証明する。
• 確率的行列理論を用いて、$ m \geq C nr \log^2 n $ 個の等方的ガウス測定値がある場合、この凸性領域が高確率で存在することを示す。
• 測定数 $ m $ に $ r $ における多項式因子を追加することで、スペクトル初期化法が反復点を凸領域内に高確率で配置できることを示す。
• 局所的凸性と勾配降下法を組み合わせることで、直交変換を除いて真の解へ線形収束することを実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようなサンプリング条件下で、非凸損失関数が解多様体に直交する方向に局所的強い凸性領域を有するか？
• RQ2 スペクトル初期化は、反復点をこの凸領域内に高確率で配置できるか？
• RQ3 局所的凸性と成功した初期化を両立させるために必要な最小測定数は何か？
• RQ4 反復点が凸領域内に初期化された場合、勾配降下法は解多様体へ線形収束するか？
• RQ5 このフレームワークは、類似した幾何的構造を有する他の非凸問題へと拡張可能か？

主な発見

• 等方的ガウス測定値が $ m \geq C nr \log^2 n $ 個ある場合、損失関数は解多様体に直交する方向において高確率で局所的強い凸性を示す。
• 局所的強い凸性領域は次元に依存せず、$ n $ の増加に伴って品質が劣化しない。
• 測定数 $ m $ に $ r $ における多項式因子を追加することで、スペクトル初期化は反復点を凸領域内に高確率で配置できる。
• この凸領域内に初期化された勾配降下法は、直交変換を除いて真の解へ線形収束する。
• 理論的枠組みは、初期化によって局所的凸性に到達可能な他の非凸問題へも広範に適用可能であると示唆している。
• これらの結果は、半定値緩和を用いずに低ランク行列回復において勾配降下法が実験的に成功する理由を理論的に裏付けている。