[論文レビュー] Solving (Almost) all Systems of Random Quadratic Equations

Gang Wang, Georgios B. Giannakis+2 more|arXiv (Cornell University)|May 1, 2017

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、重み付き最大相関初期化と、新しい正則化スキームを用いた繰り返し再重み付け勾配反復を組み合わせた、ランダムな二次方程式系を解くための新規アルゴリズムを提案する。m ≥ cn の条件下で、データ読み取り時間に比例する時間で高確率に正確な復元が達成され、高次元設定およびノイズ環境下でも最先端の手法を上回る性能を発揮する。

ABSTRACT

This paper deals with finding an $n$-dimensional solution $\bm{x}$ to a system of quadratic equations $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, $1\le i \le m$, which in general is known to be NP-hard. We put forth a novel procedure, that starts with a \emph{weighted maximal correlation initialization} obtainable with a few power iterations, followed by successive refinements based on \emph{iteratively reweighted gradient-type iterations}. The novel techniques distinguish themselves from prior works by the inclusion of a fresh (re)weighting regularization. For certain random measurement models, the proposed procedure returns the true solution $\bm{x}$ with high probability in time proportional to reading the data $\{(\bm{a}_i;y_i)\}_{1\le i \le m}$, provided that the number $m$ of equations is some constant $c > 0$ times the number $n$ of unknowns, namely, $m\ge cn$. Empirically, the upshots of this contribution are: i) perfect signal recovery in the high-dimensional regime given only an information-theoretic limit number of equations; and, ii) near-optimal statistical accuracy in the presence of additive noise. Extensive numerical tests using both synthetic data and real images corroborate its improved signal recovery performance and computational efficiency relative to state-of-the-art approaches.

研究の動機と目的

• m 個の二次測定値 y_i = |⟨a_i, x⟩|² から n 次元信号を回復する NP 困難な問題に対処すること。
• 情報理論的限界に近いサンプル複雑度を達成する計算的に効率の良い手法を構築すること。
• 高次元設定においても高い計算効率を維持しつつ、加法的ノイズに対してロバスト性を向上させること。
• 非凸最適化における収束性と精度を向上させる、新たな再重み付け正則化戦略を導入すること。

提案手法

• アルゴリズムは、数回のパワー反復を用いて計算される重み付き最大相関初期化から始まり、解の良い初期推定値を取得する。
• 解の精錬に繰り返し再重み付け勾配型反復を用い、収束性を向上させるために新しい（再）重み付け正則化を組み込む。
• 再重み付け機構は、残差誤差に基づいて各方程式の影響を適応的に調整し、ロバスト性と精度を向上させる。
• アルゴリズムは、データの読み取りに比例する時間で収束するように設計されており、大規模問題において計算的に効率的である。
• ランダム測定モデルの下で理論的分析が行われ、ある定数 c > 0 に対して m ≥ cn の条件下で高確率での復元が示されている。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化手法は、最小に近い数のランダムな二次測定値から真の信号を正確に回復できるか？
• RQ2 新たな再重み付け正則化の導入が、二次方程式系を解く際の収束性とロバスト性をどのように向上させるか？
• RQ3 m ≈ n の条件下で、このアルゴリズムは高次元領域においてどれほど正確な復元を達成できるか？
• RQ4 従来の手法と比較して、加法的ノイズが存在する状況下での性能はいかがなものか？

主な発見

• 提案手法は、方程式の数 m が未知数 n の定数倍 c 以上である、すなわち m ≥ cn の条件下で、高確率に真の解を回復する。
• データ読み取り時間に比例する時間で正確な復元が達成され、大規模問題において計算的に効率的である。
• m ≈ n の情報理論的限界においても、高次元領域で完璧な信号回復を達成する。
• 加法的ノイズが存在する状況でも、近似的に最適な統計的精度を達成し、最先端の手法を上回る。
• 合成データおよび実画像を用いた広範な数値実験により、優れた信号回復性能と計算効率が確認された。