[论文解读] A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval

David A. Barmherzig, Ju Sun|arXiv (Cornell University)|Dec 6, 2017

Optical measurement and interference techniques参考文献 11被引用 3

一句话总结

该论文分析了高斯相位检索问题中的块坐标下降（BCD）算法，证明当初始化点靠近解时，该算法线性收敛至全局最小值。通过在ADMM中将对偶变量固定为零（因其在最优解处为零而具有合理性），BCD方法等价于求解一个双凸最小二乘问题，且在确定性初始化下可证明其线性收敛速率。

ABSTRACT

While convergence of the Alternating Direction Method of Multipliers (ADMM) on convex problems is well studied, convergence on nonconvex problems is only partially understood. In this paper, we consider the Gaussian phase retrieval problem, formulated as a linear constrained optimization problem with a biconvex objective. The particular structure allows for a novel application of the ADMM. It can be shown that the dual variable is zero at the global minimizer. This motivates the analysis of a block coordinate descent algorithm, which is equivalent to the ADMM with the dual variable fixed to be zero. We show that the block coordinate descent algorithm converges to the global minimizer at a linear rate, when starting from a deterministically achievable initialization point.

研究动机与目标

• 为了理解ADMM在非凸问题上的局部收敛行为，以高斯相位检索作为模型。
• 为了证明在高斯相位检索问题中，将对偶变量固定为零是合理的，因为其在全局最小值处确实为零。
• 为了分析与ADMM中零对偶变量等价的块坐标下降（BCD）算法的收敛性。
• 为了建立当初始化点位于解的邻域内时，BCD算法线性收敛至全局最小值的结论。
• 为了表明谱初始化可确定性地达到所需的初始化邻域。

提出的方法

• 将高斯相位检索问题表述为带变量分裂的双凸优化问题：在约束 $ \mathbf{z} = \mathbf{w} $ 下最小化 $ f(\mathbf{z}, \mathbf{w}) = \frac{1}{4m}\sum_{k=1}^m (y_k^2 - \mathbf{a}_k^T \mathbf{z} \mathbf{a}_k^T \mathbf{w})^2 $。
• 推导ADMM算法的增广拉格朗日函数，表明在临界点处，全局最小值处的对偶变量 $ \mathbf{\lambda} = \mathbf{0} $。
• 提出一种与ADMM中 $ \mathbf{\lambda} $ 固定为零等价的块坐标下降（BCD）算法，依次更新 $ \mathbf{z} $ 和 $ \mathbf{w} $。
• 在随机高斯测量向量的期望下分析BCD更新，聚焦于真实信号附近的局部收敛性。
• 利用谱初始化，以确定性方式达到全局最小值邻域内的初始化点。
• 基于内积与范数的压缩论证，证明每一步BCD更新均以恒定因子缩小与真实信号的距离，从而建立线性收敛性。

实验结果

研究问题

• RQ1 ADMM算法能否在非凸问题（如高斯相位检索）上实现严格的局部收敛性分析？
• RQ2 在高斯相位检索问题中，全局最小值处的对偶变量是否为零，从而支持采用简化的BCD方法？
• RQ3 当初始化点位于解附近时，固定对偶变量的块坐标下降是否线性收敛至全局最小值？
• RQ4 能否通过确定性谱初始化达到线性收敛所需的初始化邻域？
• RQ5 在随机测量向量的期望下，BCD算法的收敛速率是多少？

主要发现

• 在高斯相位检索问题的全局最小值处，对偶变量 $ \mathbf{\lambda} $ 为零，从而支持将其固定为零的设定。
• 与ADMM中零对偶变量等价的块坐标下降算法，以线性速率收敛至全局最小值。
• 当算法初始化点位于真实信号的邻域内时，即满足 $ \|\mathbf{w} - \mathbf{x}\| \leq \frac{1}{8}\|\mathbf{x}\| $ 时，可建立线性收敛性。
• 通过谱分解可确定性地实现所需的初始化邻域，如先前工作所示。
• 收敛速率通过证明每步BCD更新将与解的距离缩小为一个远离1的有界因子来量化，压缩因子取决于初始化质量。
• 分析表明，当惩罚参数 $ \rho = C\|\mathbf{x}\|^2 $ 且 $ C \leq 27/8 $ 时，BCD迭代点将保持在全局最小值的邻域内，并实现线性收敛。