[論文レビュー] Reshaped Wirtinger Flow and Incremental Algorithm for Solving Quadratic System of Equations

Huishuai Zhang, Yi Zhou+2 more|arXiv (Cornell University)|May 25, 2016

Model Reduction and Neural Networks参考文献 55被引用数 29

ひとこと要約

本稿では、非凸最適化アルゴリズムであるリシェイプド・ヴィーリンガー・フロー（RWF）を提案する。RWFは、滑らかでない2次損失関数を最小化することで、位相再構成における2次方程式系を解く。RWFはO(n)の測定数で真の信号への幾何的収束を達成し、従来の手法よりも計算コストが低く、そのインクリメンタル版（IRWF）は線形収束を保証し、既存の確率的アルゴリズムを上回る性能を示す。

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

研究の動機と目的

• Wirtinger Flow (WF) や Truncated Wirtinger Flow (TWF) などの既存の非凸位相再構成アルゴリズムにおける計算コストとサンプル複雑度の制限を克服すること。
• 変数の次数を低く抑えるために、|⟨aᵢ, z⟩| − yᵢ を根拠とする新しい損失関数の構築により、収束特性の向上を図ること。
• 確率的ガウス測定のもとで、提案されたRWFアルゴリズムのグローバル収束保証を確立すること。
• 計算効率とスケーラビリティを向上させるために、インクリメンタル／確率的バージョン（IRWF）の設計。
• IRWFが線形収束を達成し、ITWF や Kaczmarz-PR などの既存の確率的手法を上回ることを示すこと。

提案手法

• 変数zに関して2次であるが滑らかでない損失関数 ℓ(z) = (1/(2m)) Σᵢ (|aᵢᵀz| − yᵢ)² を提案し、WFにおける4次損失関数と比較して複雑度を低減する。
• 滑らかでない非凸損失関数を最小化する勾配類似のアルゴリズムRWFを構築し、部分勾配に基づく簡単な更新則を採用する。
• スペクトル初期化を用いて、初期推定値が真の信号xの定数倍の範囲内に収まるように保証する。
• 適切な条件下で、グローバル最適解への幾何的収束を保証するステップサイズルールを導入する。
• 1つの測定値ずつ更新するランダムサンプリングを用いた、RWFのインクリメンタル／確率的変種であるIRWFを設計する。
• IRWFとカツマルツ法との理論的関係を確立し、Kaczmarz-PRがIRWFの特別な場合であることを示す。

実験結果

リサーチクエスチョン

• RQ1 既存の非凸手法と比較して、低次の滑らかでない損失関数は、位相再構成における収束性と計算コストの低減に寄与するか？
• RQ2 RWFは、勾配ステップにおけるトリunks（切り捨て）を必要とせず、O(n)のサンプル複雑度で幾何的収束を達成するか？
• RQ3 RWFのインクリメンタル版（IRWF）は線形収束を達成し、ITWF などの既存の確率的アルゴリズムを上回るか？
• RQ4 カツマルツ法と提案されたインクリメンタルRWFフレームワークとの理論的関連性は何か？
• RQ5 実験的に、IRWFはバッチ版RWFや確率的アルゴリズム（ITWF）と比較して、収束速度と精度の両面で優れているか？

主な発見

• RWFは、TWFと同等のO(n)の測定数で真の信号への幾何的収束を達成し、勾配ステップにおけるトリunksを必要としない。
• RWFは、低次の損失関数のおかげでWFよりも計算コストを低減し、数値的性能が向上する。
• 適切に初期化された場合、IRWFは真の信号へ線形収束を示し、確率的バージョンに対する理論的保証を確立する。
• 位相再構成におけるカツマルツ法がIRWFの特別な場合であることが示され、その実験的成功の理論的基盤が得られた。
• 実験的結果から、IRWFがバッチ版RWFおよび確率的ITWFアルゴリズムを上回り、収束速度と精度の両面で優れていることが明らかになった。