[論文レビュー] Solving Systems of Quadratic Equations via Exponential-type Gradient Descent Algorithm

Meng Huang, Zhiqiang Xu|arXiv (Cornell University)|Jun 4, 2018

Sparse and Compressive Sensing Techniques参考文献 29被引用数 3

ひとこと要約

本稿では、ガウス測定値からの低ランク行列回復のための連立2次方程式を解くために、指数型勾配降下法を提案する。この手法は、解の条件数やフロベニウスノルムに依存しないO(nr log(cr))の測定数で、真の行列（直交変換を除いて）への線形収束を達成する。これにより、従来の境界を著しく改善する。

ABSTRACT

We consider the rank minimization problem from quadratic measurements, i.e., recovering a rank $r$ matrix $X \in \mathbb{R}^{n imes r}$ from $m$ scalar measurements $y_i=a_i^{ op} XX^{ op} a_i,\;a_i\in \mathbb{R}^n,\;i=1,\ldots,m$. Such problem arises in a variety of applications such as quadratic regression and quantum state tomography. We present a novel algorithm, which is termed exponential-type gradient descent algorithm, to minimize a non-convex objective function $f(U)=\frac{1}{4m}\sum_{i=1}^m(y_i-a_i^{ op} UU^{ op} a_i)^2$. This algorithm starts with a careful initialization, and then refines this initial guess by iteratively applying exponential-type gradient descent. Particularly, we can obtain a good initial guess of $X$ as long as the number of Gaussian random measurements is $O(nr)$, and our iteration algorithm can converge linearly to the true $X$ (up to an orthogonal matrix) with $m=O\left(nr\log (cr) ight)$ Gaussian random measurements.

研究の動機と目的

• 量子状態トモグラフィーや位相再構成などの応用で生じる、2次測定からの低ランク行列回復のための効率的なアルゴリズムの開発。
• 解の条件数やフロベニウスノルムに関する強い仮定を必要とする従来のアルゴリズムの制限を克服すること。
• 特にO(nr log(cr))のガウス測定数で最小限のサンプル複雑度を達成し、線形収束を実現すること。
• 真の行列（直交変換を除いて）へのグローバル収束を保証する理論的根拠の提供。

提案手法

• 低ランク行列の推定値を適切に初期化する指数型勾配降下法を導入する。
• 非凸最適化定式化として、最小二乗目的関数 f(U) = (1/4m)Σ(y_i - ||a_i^T U||²)² を最小化する。
• O(nr)のガウス測定数で良好な初期推定値を達成できる、革新的な初期化戦略を採用する。
• ヘッセ行列の構造と目的関数の曲率を活用する、指数型勾配更新を採用する。
• 濃度不等式とスペクトル解析を用いて、ガウス測定下でのヘッセ行列の振る舞いを制限する。
• 直交不変性と特異値分解を用いて、真の解への収束（直交行列を除いて）を分析する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復に由来する連立2次方程式を解く指数型勾配降下法は、線形収束を達成できるか？
• RQ2 直交変換を除いて正確な回復を保証するためのガウス測定数の最小値は何か？
• RQ3 条件数やフロベニウスノルムに依存する従来手法と比較して、提案手法のサンプル複雑度はどのように異なるか？
• RQ4 強い初期化や解に関する制限付き仮定なしに、グローバル収束を達成できるか？
• RQ5 指数型更新ルールは、収束性の向上と測定数の削減にどのように寄与するか？

主な発見

• O(nr log(cr))のガウス測定数で、真の行列 X（直交行列を除いて）への線形収束が達成される。
• 良好な初期推定値は、わずか O(nr) のガウス測定数で得られ、グローバル収束を可能にする。
• 従来の手法とは異なり、解の条件数やフロベニウスノルムに関する仮定を必要としない。
• 理論的解析により、目的関数のヘッセ行列が解の近傍で適切に条件付けられていることが示され、高速収束が可能となる。
• 指数型更新ルールにより、悪い局所最適解を避けて、弱い条件下でもグローバル解に収束することが保証される。
• サンプル複雑度 O(nr log(cr)) は、対数要因を除いて最適であり、既知の情報理論的下界と一致する。