[论文解读] Convergence of the randomized Kaczmarz method for phase retrieval

Halyun Jeong, C. Si̇nan Güntürk|arXiv (Cornell University)|Jun 30, 2017

Advanced X-ray Imaging Techniques参考文献 12被引用 21

一句话总结

该论文首次为相位恢复中的随机Kaczmarz方法建立了严格的收敛性保证，表明当测量系统大小 $ m acksimeq d $ 时，若初始点接近真实信号，则以高概率实现均方误差的指数收敛。该方法通过随机投影迭代地自适应调整相位信息，性能与线性Kaczmarz方法相当。

ABSTRACT

The classical Kaczmarz iteration and its randomized variants are popular tools for fast inversion of linear overdetermined systems. This method extends naturally to the setting of the phase retrieval problem via substituting at each iteration the phase of any measurement of the available approximate solution for the unknown phase of the measurement of the true solution. Despite the simplicity of the method, rigorous convergence guarantees that are available for the classical linear setting have not been established so far for the phase retrieval setting. In this short note, we provide a convergence result for the randomized Kaczmarz method for phase retrieval in $\mathbb{R}^d$. We show that with high probability a random measurement system of size $m \asymp d$ will be admissible for this method in the sense that convergence in the mean square sense is guaranteed with any prescribed probability. The convergence is exponential and comparable to the linear setting.

研究动机与目标

• 为非线性相位恢复设置下的随机Kaczmarz方法建立理论收敛性保证。
• 证明大小为 $ m \asymp d $ 的随机测量系统通常适用于该方法。
• 证明在较弱初始化条件下，以高概率可实现均方误差的指数收敛。
• 弥合相位自适应Kaczmarz方法在相位恢复中经验成功与理论理解之间的差距。

提出的方法

• 该方法使用随机Kaczmarz更新，其中用当前迭代值测量的相位代替真实相位。
• 引入一个称为 $\delta$-可接受性的确定性条件，确保当初始相对误差低于 $\delta$ 时，每轮迭代的期望误差均下降。
• 应用漂移分析与 hitting-time 边界，分析在随机索引选择下的随机收敛行为。
• 利用从单位球面 $\mathbb{S}^{d-1}$ 上均匀抽取的随机向量的概率界，通过计算 $\mathbb{E}[|z \cdot \phi|^2]$ 和 $\mathbb{E}[|z \cdot \phi|^4]$ 进行分析。
• 定义了一个稳定性事件 $\Sigma$，以确保在整个迭代过程中相对误差保持有界。
• 证明收敛速率为指数级，衰减界为 $\mathbb{E}[\mathrm{dist}^2(x,x_k) \mathbf{1}_\Sigma] \leq e^{-k/4d} \|z_0\|^2$。

实验结果

研究问题

• RQ1 能否严格证明在随机测量系统下，相位恢复中的随机Kaczmarz方法收敛？
• RQ2 在 $ m acksimeq d $ 范围内，实现高概率收敛所需的最少测量数 $ m $ 是多少？
• RQ3 初始误差如何影响收敛性？何种初始化条件可确保稳定性？
• RQ4 与线性情况相比，相位自适应随机Kaczmarz方法的收敛速率如何？
• RQ5 在何种测量系统条件下，可保证每轮迭代的期望误差下降？

主要发现

• 当 $ m \geq Cd $ 且存在绝对常数 $ C, c, \delta_0 $ 时，测量系统 $ \Phi = (\phi_1, \dots, \phi_m) $ 以概率 $ 1 - \exp(-cm) $ 满足 $\delta$-可接受性。
• 若初始相对误差满足 $ \mathrm{dist}(x,x_0)/\|x\| \leq \delta_0 \varepsilon $，则稳定性事件 $ \Sigma = \{ \mathrm{dist}(x,x_k)/\|x\| \leq \delta_0 \text{ 对所有 } k \geq 1 \} $ 成立的概率至少为 $ 1 - \varepsilon^2 $。
• 在 $ \Sigma $ 条件下，期望平方误差呈指数衰减，即 $ \mathbb{E}[\mathrm{dist}^2(x,x_k) \mathbf{1}_\Sigma] \leq e^{-k/4d} \|z_0\|^2 $。
• 收敛速率与线性Kaczmarz方法相当，其指数衰减由维度 $ d $ 的倒数控制。
• 该方法在从 $ \mathbb{S}^{d-1} $ 上均匀抽取的随机测量向量下实现收敛，通过矩计算可得 $ \mathbb{E}[|z \cdot \phi|^2] = \|z\|^2/d $ 且 $ \mathbb{E}[|z \cdot \phi|^4] = 3\|z\|^4/(d(d+2)) $。
• 分析表明，当初始点接近真实解时，只要测量系统足够丰富且随机，该方法对相位失配具有鲁棒性。