[論文レビュー] Reshaped Wirtinger Flow for Solving Quadratic Systems of Equations

Huishuai Zhang, Yingbin Liang|arXiv (Cornell University)|May 25, 2016

Advanced X-ray Imaging Techniques被引用数 16

ひとこと要約

本稿では、滑らかでない二次損失関数を最小化することで位相再構成における二次方程式系を解く非凸最適化アルゴリズム、リシェイプド・ヴィーリンジャー・フロー（RWF）を提案する。RWFは、わずか O(n) の測定値でグローバル最適解への幾何的収束を達成し、従来の手法よりもサンプル複雑性と計算効率に優れ、先行手法で用いられる切断ステップを回避する。

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

研究の動機と目的

• 位相再構成問題に取り組み、測定値の大きさのみからベクトルを回復する非凸最適化フレームワークを提供すること。
• 従来のワイアーリング・フロー（WF）および切り捨て付きワイアーリング・フロー（TWF）手法と比較して、計算複雑性を低減し、サンプル効率を向上させること。
• 最適化ループ内で勾配の切断を必要とせず、高速な収束を維持すること。
• 大規模な位相再構成に適したスケーラブルで効率的なスケジュール化（ステップワイズ）バージョン、IRWF を開発すること。
• RWF および IRWF の理論的性能保証を確立し、それらを既存のカツマルツ型手法と結びつけること。

提案手法

• 標準的な WF よりも計算コストを低減する、変数に関してのみ二次的で滑らかでない損失関数を提案する。
• 勾配の切断を回避する勾配に類似た更新ルールを採用し、実装を簡素化し、効率を向上させる。
• 収束のための有利な幾何的性質を保証するため、ランダムなガウス測定ベクトルを用いる。
• 測定数 m が n のオーダーにある限り、RWF の線形収束レートを導出する。
• 測定値を1つずつ処理するインクリメンタル版、IRWF を開発し、より高速でスケーラブルな最適化を実現する。
• IRWF とカツマルツ法との理論的関連を確立し、後者に対する新たな性能保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 位相再構成のための非凸最適化手法は、勾配の切断を回避しつつ、最小限のサンプル複雑性で幾何的収束を達成できるか？
• RQ2 RWF の滑らかでない二次損失関数は、滑らかな代替手法と比較して収束性と計算コストの面でどのように異なるか？
• RQ3 RWF のサンプル複雑性は何か？ また、WF や TWF と比較してどうか？
• RQ4 RWF のインクリメンタル版（IRWF）は線形収束を達成でき、既存の確率的手法を上回る性能を示せるか？
• RQ5 IRWF と古典的なカツマルツ法との理論的関連は何か？

主な発見

• RWF は、わずか O(n) の測定値でグローバル最適解への幾何的収束を達成し、TWF と同等のサンプル複雑性を有するが、勾配の切断を必要としない。
• 標準的なワイアーリング・フロー（WF）よりも計算コストが低く、実用的に高速である。
• IRWF は真の信号へ線形収束を示し、強力な理論的および実験的性能を示す。
• 実験結果から、IRWF は確率的 TWF（ITWF）アルゴリズムおよび他のバッチ手法よりも収束速度と精度で優れていることが示された。
• 本稿では、位相再構成におけるカツマルツ法が IRWF の特別な場合に相当することを確立し、その性能に対する新たな理論的根拠を提供した。
• 提案された RWF 法は、TWF と同等のサンプル複雑性を達成するが、更新がより単純で数値的効率性に優れている。