[論文レビュー] Solving Systems of Random Quadratic Equations via Truncated Amplitude Flow

Gang Wang, Georgios B. Giannakis+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 66被引用数 55

ひとこと要約

本稿では、位相再構成において生じるランダムな2次方程式系 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $ を解くための新規アルゴリズムであるTruncated Amplitude Flow (TAF) を提案する。TAFは、パワー反復を用いた直交性促進型初期化と、切り捨てられた勾配更新を組み合わせることで、$ m \approx n $ の条件下で高確率に正確な復元（グローバル位相を除き）を達成し、$ O(nm) $ の計算量で線形収束を示す。

ABSTRACT

This paper presents a new algorithm, termed \emph{truncated amplitude flow} (TAF), to recover an unknown vector $\bm{x}$ from a system of quadratic equations of the form $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, where $\bm{a}_i$'s are given random measurement vectors. This problem is known to be \emph{NP-hard} in general. We prove that as soon as the number of equations is on the order of the number of unknowns, TAF recovers the solution exactly (up to a global unimodular constant) with high probability and complexity growing linearly with both the number of unknowns and the number of equations. Our TAF approach adopts the \emph{amplitude-based} empirical loss function, and proceeds in two stages. In the first stage, we introduce an \emph{orthogonality-promoting} initialization that can be obtained with a few power iterations. Stage two refines the initial estimate by successive updates of scalable \emph{truncated generalized gradient iterations}, which are able to handle the rather challenging nonconvex and nonsmooth amplitude-based objective function. In particular, when vectors $\bm{x}$ and $\bm{a}_i$'s are real-valued, our gradient truncation rule provably eliminates erroneously estimated signs with high probability to markedly improve upon its untruncated version. Numerical tests using synthetic data and real images demonstrate that our initialization returns more accurate and robust estimates relative to spectral initializations. Furthermore, even under the same initialization, the proposed amplitude-based refinement outperforms existing Wirtinger flow variants, corroborating the superior performance of TAF over state-of-the-art algorithms.

研究の動機と目的

• 位相再構成に一般的に見られる、測定値 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $ のみの情報から未知のベクトル $ \mathbf{x} $ を回復するNP困難な問題に対処すること。
• 最小のサンプル複雑性で正確な復元を達成する効率的かつスケーラブルなアルゴリズムの開発。
• 位相再構成におけるアモルティチュードベースの損失関数の非凸性と滑らかでない性質の克服。
• 実数値設定における誤った符号の修正を可能にする、新しい勾配切り捨てルールを導入することで、既存のWirtinger flowの変種を改善すること。

提案手法

• 2段階のアルゴリズムを提案：まず、良い初期推定を得るための数回のパワー反復を用いた直交性促進型初期化。
• 次に、推定値を精緻化するための切り捨てられた一般化勾配反復を適用し、実数値設定における収束性と符号の修正を向上させる勾配切り捨てルールを導入。
• 強さベースの代替手法よりもより頑健である、アモルティチュードベースの経験的損失関数 $ h(\mathbf{z}) = \frac{1}{2m} \sum_{i=1}^m (\psi_i - |\langle \mathbf{a}_i, \mathbf{z} \rangle|)^2 $ を採用。
• 実数値設定において、誤った符号を高確率で明確に排除できる切り捨てルールを導入し、未切り捨てバージョンを上回る性能向上を実現。
• 濃度不等式と指数的尾部バウンドを用いて、勾配およびヘッセに類似する項の挙動に関する確率的保証を確立。
• ランダムな測定ベクトル $ \mathbf{a}_i \sim \mathcal{N}(0, I) $ の下でアルゴリズムを分析し、$ m = O(n) $ の測定値で高確率に正確な復元が可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 非凸な位相再構成問題を、線形収束性と最小のサンプル複雑性を満たす形で効率的に解くことは可能か？
• RQ2 標準のWirtinger flowに比べて、切り捨てられた勾配法が精度と頑健性の両面で優れていると期待できるか？
• RQ3 パワー反復に基づく新規な初期化は、スペクトル初期化に比べて復元性能を顕著に向上させるか？
• RQ4 アモルティチュードベースの損失関数における勾配切り捨ては、実数値位相再構成において符号誤りを確実に是正できるか？
• RQ5 アモルティチュードベース最適化を用いた場合、正確な復元に必要な理論的サンプル複雑性は何か？

主な発見

• TAFは、$ m = O(n) $ の条件下で、高確率に $ \mathbf{x} $ の正確な復元（グローバルユニモジュラー定数を除き）を達成し、情報理論的下界と一致する。
• アルゴリズムは、計算量 $ O(nm) $ でグローバル最小値へ線形収束を示し、未知数と方程式の数の両方に対して線形にスケーリングする。
• 提案された初期化は、特にSNRが低い状況下でも、標準的なスペクトル初期化に比べて顕著に精度と頑健性を向上させる。
• 実数値設定では、切り捨てられた勾配ルールが誤った符号を高確率で排除でき、未切り捨てバージョンに比べて顕著な性能向上をもたらす。
• 合成データおよび実画像に対する数値実験により、TAFがWirtinger flowを含む最先端のアルゴリズムを、収束速度および復元精度の両面で上回ることを確認した。
• 理論的分析により、切り捨てられた勾配法が、滑らかでない非凸なアモルティチュードベースの目的関数に対しても安定な収束を達成できることを確認した。