[論文レビュー] Solving Random Quadratic Systems of Equations Is Nearly as Easy as Solving Linear Systems

Yuxin Chen, Emmanuel J. Candès|arXiv (Cornell University)|May 19, 2015

Soil Geostatistics and Mapping参考文献 50被引用数 89

ひとこと要約

本稿では、適応的しきい値処理と特化した目的関数を活用して、線形時間収束を達成する、ランダムな二次方程式系を解くための新規な非凸最適化アルゴリズムを提案する。弱い条件下でも、方程式の数が変数の数の定数倍を超える場合、真の解が高確率で回復可能であることを証明しており、これは線形方程式系を解くのと同等の計算複雑度である。

ABSTRACT

We consider the fundamental problem of solving quadratic systems of equations in $n$ variables, where $y_i = |\\langle \\boldsymbol{a}_i, \\boldsymbol{x} \ angle|^2$, $i = 1, \\ldots, m$ and $\\boldsymbol{x} \\in \\mathbb{R}^n$ is unknown. We propose a novel method, which starting with an initial guess computed by means of a spectral method, proceeds by minimizing a nonconvex functional as in the Wirtinger flow approach. There are several key distinguishing features, most notably, a distinct objective functional and novel update rules, which operate in an adaptive fashion and drop terms bearing too much influence on the search direction. These careful selection rules provide a tighter initial guess, better descent directions, and thus enhanced practical performance. On the theoretical side, we prove that for certain unstructured models of quadratic systems, our algorithms return the correct solution in linear time, i.e. in time proportional to reading the data $\\{\\boldsymbol{a}_i\\}$ and $\\{y_i\\}$ as soon as the ratio $m/n$ between the number of equations and unknowns exceeds a fixed numerical constant. We extend the theory to deal with noisy systems in which we only have $y_i \\approx |\\langle \\boldsymbol{a}_i, \\boldsymbol{x} \ angle|^2$ and prove that our algorithms achieve a statistical accuracy, which is nearly un-improvable. We complement our theoretical study with numerical examples showing that solving random quadratic systems is both computationally and statistically not much harder than solving linear systems of the same size---hence the title of this paper. For instance, we demonstrate empirically that the computational cost of our algorithm is about four times that of solving a least-squares problem of the same size.

研究の動機と目的

• 位相再構成や信号回復の分野で一般的に見られる、測定値が大きさのみに制限される状況における、二次方程式系の解法における計算上の課題に対処すること。
• このような方程式系において、最尤推定の計算的に困難な性質を回避する、効率的な非凸最適化手法を開発すること。
• 設計ベクトルに対する最小限の仮定のもとで、ランダムな二次方程式系に対して線形時間収束を達成すること。
• ノイズが存在する状況への拡張を図り、理論的限界に近い統計的精度を保証すること。

提案手法

• 解の初期推定値を得るため、スペクトル初期化を実行する。
• 二次方程式系の構造に特化した非凸目的関数を採用し、Wirtingerフローなどの先行手法とは異なる。
• 適応的更新ルールにより、探索方向に不適切に影響を与える項を動的に除外し、収束の安定性を向上させる。
• バックトラックラインサーチにより、各反復で目的関数が十分に減少することを保証し、ステップサイズ選択に関する理論的保証を提供する。
• 切り捨てられた経験的リスク最小化を用い、降下に最も信頼性がある項に焦点を当てる。
• 理論的分析は、集中不等式と高次元確率的行列理論における誤差項の精密な制御に依存する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな二次方程式系は、実用的に線形方程式系を解くコストに近い計算コストで効率的に解けるか？
• RQ2 適応的しきい値処理を用いた非凸最適化アプローチは、収束速度と精度の面で標準的手法を上回るか？
• RQ3 ランダムな二次方程式系において、真の解を高確率で回復するのに必要な最小方程式数は何か？
• RQ4 特に画像処理応用で一般的なポアソンモデルにおけるノイズ測定下でも、アルゴリズムの性能はいかがなものか？
• RQ5 ノイズ条件下において、統計的精度が理論的にほぼ最良のものに達するか？

主な発見

• 方程式数と変数数の比が固定の数値定数を超える場合、アルゴリズムは線形時間（すなわち、データの読み取りに比例する時間）で真の解を回復する。
• ノイズが存在する系では、統計的精度が理論的限界に近く、Cramér-Rao下界に対して対数因子の差異を除き一致する。
• 実験的に、同サイズの最小二乗問題を解くコストの約4倍の計算コストにとどまる。
• 理論的分析により、弱い確率的設計仮定のもとで、アルゴリズムが高確率で真の解に収束することが示された。
• 適応的しきい値処理と目的関数の設計により、初期推定値がよりタイトになり、降下方向が改善され、実用的性能が向上した。