[论文解读] Hadamard Wirtinger Flow for Sparse Phase Retrieval

Fan Wu, Patrick Rebeschini|arXiv (Cornell University)|Jun 1, 2020

Advanced X-ray Imaging Techniques参考文献 41被引用 6

一句话总结

该论文提出Hadamard Wirtinger Flow (HWF)，一种用于稀疏相位检索的两阶段基于梯度的方法，利用Hadamard参数化在$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$个样本内实现支持恢复，当信号具有大分量时，实现$ k $的线性样本复杂度。HWF无需显式正则化或稀疏性知识，可自适应于信号稀疏性，并在样本效率方面优于现有梯度方法，尽管其收敛速度为次线性，这是由于其参数化方式所致。

ABSTRACT

We consider the problem of reconstructing an $n$-dimensional $k$-sparse signal from a set of noiseless magnitude-only measurements. Formulating the problem as an unregularized empirical risk minimization task, we study the sample complexity performance of gradient descent with Hadamard parametrization, which we call Hadamard Wirtinger flow (HWF). Provided knowledge of the signal sparsity $k$, we prove that a single step of HWF is able to recover the support from $k(x^*_{max})^{-2}$ (modulo logarithmic term) samples, where $x^*_{max}$ is the largest component of the signal in magnitude. This support recovery procedure can be used to initialize existing reconstruction methods and yields algorithms with total runtime proportional to the cost of reading the data and improved sample complexity, which is linear in $k$ when the signal contains at least one large component. We numerically investigate the performance of HWF at convergence and show that, while not requiring any explicit form of regularization nor knowledge of $k$, HWF adapts to the signal sparsity and reconstructs sparse signals with fewer measurements than existing gradient based methods.

研究动机与目标

• 为解决现有非凸优化方法在稀疏相位检索中样本复杂度过高的问题，这些方法通常因支持恢复瓶颈而需要$\mathcal{O}(k^2 \log n)$个测量值。
• 开发一种简单、无正则化的算法，可自适应于信号稀疏性，且无需事先知晓$ k $或显式阈值处理。
• 通过一种新颖的两阶段方法——先进行支持检测，再通过带Hadamard参数化的梯度下降实现信号恢复——将样本复杂度提升至$\mathcal{O}(k \log n)$。
• 分析所提方法的理论与实证性能，特别是其收敛行为及在随机初始化下的鲁棒性。

提出的方法

• HWF采用两阶段流程：首先，通过简单初始化进行单步梯度更新，估计支持上一个坐标，避免使用复杂的谱方法或促进正交性的方案。
• 其次，算法对无正则化的经验风险应用梯度下降，使用Hadamard参数化$\mathbf{X} = \mathbf{U} \odot \mathbf{V}$，其中$\mathbf{U}, \mathbf{V} \in \mathbb{R}^n$为优化变量。
• 该参数化确保在优化过程中，当$U^t_i$或$V^t_i$趋近于零时，非活跃坐标（$x^*_i = 0$）自然被推向零，从而隐式促进稀疏性。
• 梯度更新通过Wirtinger flow原理推导，更新规则为$\nabla_{\mathbf{u}} F(\mathbf{U}^t, \mathbf{V}^t) = 2 \nabla F(\mathbf{X}^t) \odot \mathbf{U}^t$，这使得非支持坐标处的梯度衰减更快。
• 该方法在实数和复数设置下均进行了测试，数值实验对比了随机初始化与所提初始化（公式4）下的收敛性。

实验结果

研究问题

• RQ1 使用Hadamard参数化的单步梯度下降能否从$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$个样本中恢复$ k $-稀疏信号的支持？
• RQ2 HWF中缺乏显式正则化或稀疏性知识是否导致自适应稀疏性估计并提升样本复杂度？
• RQ3 HWF的收敛行为与SPARTA和SWF等现有方法相比如何，特别是在随机初始化下？
• RQ4 当信号包含大分量时，HWF能否在不事先知晓$ k $的情况下实现$ k $的线性样本复杂度？

主要发现

• HWF的单步操作可使用$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$个样本恢复$ k $-稀疏信号的支持，当$ x^*_{\text{max}} $远离零时，该复杂度简化为$\mathcal{O}(k \log n)$。
• 当与SPARTA等现有重建算法结合时，HWF的总运行时间与数据读取成本成正比，并在有利的信号条件下实现$\mathcal{O}(k \log n)$的样本复杂度。
• HWF的样本复杂度低于现有基于梯度的方法（如SPARTA和SWF），且在实证设置下其性能与PR-GAMP相当。
• 由于参数化方式，该算法表现出次线性收敛，导致非支持坐标处梯度衰减更快，尤其在随机初始化下可观察到误差的初始平台期。
• 数值结果证实，HWF即使在无显式正则化或$ k $知识的情况下，也能成功重建实数和复数稀疏信号，并自适应于真实稀疏度水平。