[論文レビュー] On Gradient Descent Algorithm for Generalized Phase Retrieval Problem

Ji Li, Tie Zhou|arXiv (Cornell University)|Jul 5, 2016

Advanced X-ray Imaging Techniques参考文献 26被引用数 6

ひとこと要約

本稿は、一般化された位相再構成問題を最小二乗法で定式化し、測定数 $ m $ が十分に大きい場合（例えば、ガウス分布モデルでは $ \mathcal{O}(n\log n) $）、ランダム初期化からの勾配降下法のグローバル収束を確立する。また、実数値信号の場合のコスト関数の局所的凸性を示し、数値実験で他のラインサーチ法や射影ベース手法と比較してLBFGSが優れた性能を示すことを示している。

ABSTRACT

In this paper, we study the generalized phase retrieval problem: to recover a signal $\bm{x}\in\mathbb{C}^n$ from the measurements $y_r=\lvert \langle\bm{a}_r,\bm{x} angle vert^2$, $r=1,2,\ldots,m$. The problem can be reformulated as a least-squares minimization problem. Although the cost function is nonconvex, the global convergence of gradient descent algorithm from a random initialization is studied, when $m$ is large enough. We improve the known result of the local convergence from a spectral initialization. When the signal $\bm{x}$ is real-valued, we prove that the cost function is local convex near the solution $\{\pm\bm{x}\}$. To accelerate the gradient descent, we review and apply several efficient line search methods. We also perform a comparative numerical study of the line search methods and the alternative projection method. Numerical simulations demonstrate the superior ability of LBFGS algorithm than other algorithms.

研究の動機と目的

• ランダム初期化からの一般化位相再構成における勾配降下法のグローバル収束を確立し、スペクトル初期化に依存しないようにする。
• 信号が実数値のとき、最小二乗コスト関数の局所的凸性を分析する。
• NCG や LBFGS などの効率的なラインサーチ法を用いて収束を加速する。
• LBFGS、NCG、および他の射影法の性能を数値的に比較する。
• ガウス分布およびコード化回折パターンモデル下での成功した回復のためのサンプリング複雑度に関する理論的保証を提供する。

提案手法

• 位相再構成問題を非凸最小二乗最適化問題に再定式化する：$ \min_{\bm{z} \in \mathbb{C}^n} f(\bm{z}) = \frac{1}{2m} \sum_{r=1}^m (|\bm{a}_r^*\bm{z}|^2 - y_r)^2 $。
• 適切なステップサイズを用いた勾配降下法をコスト関数の最小化に適用し、ガウスベクトルでは $ m = \mathcal{O}(n\log n) $、コード化回折パターンでは $ \mathcal{O}(n\log^3 n) $ の場合にランダム初期化からグローバル収束を証明する。
• 複素ヘッセ行列解析と集中不等式を用いて、すべての局所的最小解が高確率でグローバル最小解であることを示す。
• 信号 $ \bm{x} \in \mathbb{R}^n $ のとき、$ \pm\bm{x} $ の近傍で $ f(\bm{z}) $ が局所的凸であることを示し、ヘッセ行列が正定値であることを示すことで証明する。
• 非線形共役勾配法および限界記憶BFGS（LBFGS）を用いて収束を高速化し、複素数関数に適合したラインサーチを適用する。
• LBFGS、NCG、および代替射影法（例：RAAR）の間で比較的数値的検証を行い、収束速度と精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズを用いた勾配降下法は、一般化位相再構成においてランダム初期化からグローバル収束を達成できるか？
• RQ2 高確率でグローバル収束を保証するための必要なサンプリング複雑度 $ m $ は何か？
• RQ3 実数値信号の場合、真の信号の近傍で最小二乗コスト関数が局所的凸であるか？
• RQ4 異なるラインサーチ法（例：LBFGS、NCG）は、初期化に依存する収束速度とロバストネスにおいてどのように比較できるか？
• RQ5 収束速度と精度の観点から、LBFGSは従来の交互射影法を上回るか？

主な発見

• ガウス測定ベクトルでは $ m = \mathcal{O}(n\log n) $ の場合に、適切なステップサイズを用いた勾配降下法はランダム初期化からグローバルに収束する。
• 測定数 $ m $ が十分に大きい場合、最小二乗コスト関数のすべての局所的最小解が高確率でグローバル最小解である。
• 実数値信号の場合、コスト関数 $ f(\bm{z}) $ は $ \pm\bm{x} $ の近傍で局所的凸であり、勾配降下法によるグローバル解への収束が保証される。
• コスト関数のヘッセ行列が解の近傍で高確率で正定値であることが示され、局所的凸性を裏付ける。
• 数値結果から、LBFGSがNCGや代替射影法を著しく上回り、収束速度とロバストネスの両面で優れた性能を示している。
• コード化回折パターンモデルにおける成功した回復のためのサンプリング複雑度は $ \mathcal{O}(n\log^3 n) $ であり、従来の境界を改善している。