[論文レビュー] A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval

David A. Barmherzig, Ju Sun|arXiv (Cornell University)|Dec 6, 2017

Optical measurement and interference techniques参考文献 11被引用数 3

ひとこと要約

この論文は、ガウス型位相再構成問題に対するブロック座標降下（BCD）アルゴリズムを分析し、初期値が解の近傍にある場合に、グローバル最小値へ線形収束することを示している。ADMMにおいて双対変数をゼロに固定することは、最適解において双対変数がゼロであるため正当化され、この場合、BCD法は双凸最小二乗問題を解くことと等価となり、決定論的初期化のもとで線形レートで収束が保証される。

ABSTRACT

While convergence of the Alternating Direction Method of Multipliers (ADMM) on convex problems is well studied, convergence on nonconvex problems is only partially understood. In this paper, we consider the Gaussian phase retrieval problem, formulated as a linear constrained optimization problem with a biconvex objective. The particular structure allows for a novel application of the ADMM. It can be shown that the dual variable is zero at the global minimizer. This motivates the analysis of a block coordinate descent algorithm, which is equivalent to the ADMM with the dual variable fixed to be zero. We show that the block coordinate descent algorithm converges to the global minimizer at a linear rate, when starting from a deterministically achievable initialization point.

研究の動機と目的

• ガウス型位相再構成をモデルとして用い、非凸問題におけるADMMの局所的収束挙動を理解すること。
• ガウス型位相再構成問題において、グローバル最小値で双対変数がゼロであることから、ADMMにおける双対変数をゼロに固定することが正当化されることを示すこと。
• 双対変数をゼロに固定したADMMに等価なブロック座標降下（BCD）アルゴリズムの収束を分析すること。
• 初期値が解の近傍にある場合に、BCDがグローバル最小値へ線形収束することを確立すること。
• スペクトル初期化が、線形収束に必要な初期値領域を決定論的に達成できることを示すこと。

提案手法

• 変数分割を用いてガウス型位相再構成問題を双凸最適化問題として定式化：$ f(\mathbf{z}, \mathbf{w}) = \frac{1}{4m}\sum_{k=1}^m (y_k^2 - \mathbf{a}_k^T \mathbf{z} \mathbf{a}_k^T \mathbf{w})^2 $ を $ \mathbf{z} = \mathbf{w} $ の制約のもとで最小化する。
• ADMMアルゴリズムの拡張ラグランジュ関数を導出し、臨界点においてグローバル最小値で双対変数 $ \mathbf{\lambda} = \mathbf{0} $ となることを示す。
• 双対変数 $ \mathbf{\lambda} $ をゼロに固定したBCDアルゴリズムを提案し、これはADMMに等価である。$ \mathbf{z} $ と $ \mathbf{w} $ を逐次更新する。
• ランダムなガウス測定ベクトルの期待値についてのBCD更新を分析し、真の信号の近傍での局所的収束に注目する。
• スペクトル初期化を用いて、グローバル最小値の近傍にある決定論的初期値点を達成する。
• 内積とノルムに基づく収縮議論を用い、各BCDステップが真の信号への距離を一定の要因で減少させることを証明し、線形収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型位相再構成のような非凸問題において、ADMMの局所的収束について厳密に分析可能か？
• RQ2 ガウス型位相再構成問題において、グローバル最小値で双対変数がゼロとなるか？これにより簡略化されたBCDアプローチが可能か？
• RQ3 双対変数を固定したBCDが、初期値が解の近傍にある場合にグローバル最小値へ線形収束するか？
• RQ4 決定論的スペクトル初期化により、線形収束に必要な初期値領域に到達可能か？
• RQ5 ランダム測定ベクトルの期待値におけるBCDアルゴリズムの収束速度はどの程度か？

主な発見

• ガウス型位相再構成問題のグローバル最小値において双対変数 $ \mathbf{\lambda} $ はゼロであるため、固定ゼロの設定が正当化される。
• 双対変数をゼロに固定したBCDアルゴリズムは、グローバル最小値へ線形レートで収束する。
• 初期値が真の信号の近傍にある場合に線形収束が確立され、具体的には $ \|\mathbf{w} - \mathbf{x}\| \leq \frac{1}{8}\|\mathbf{x}\| $ の範囲で成立する。
• 事前研究で示されたように、スペクトル分解を用いることで、必要な初期値領域を決定論的に達成できる。
• 収束速度は、各BCDステップが解への距離を1より小さい一定の要因で減少させることを示すことで定量的に評価され、収縮係数は初期値の品質に依存する。
• 十分に大きな罰則パrameter $ \rho = C\|\mathbf{x}\|^2 $（$ C \leq 27/8 $）に対して、BCD反復列がグローバル最小値の近傍にとどまり、線形収束することが示された。