[论文解读] Parameterless Optimal Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Oct 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 30

一句话总结

该论文提出了一种无参数的最优近似消息传递（AMP）算法，通过使用Stein的无偏风险估计（SURE）和梯度下降法自动调节阈值参数，实现了在无需用户输入或对信号先验知识的情况下，最小化重建误差并达到最快的收敛速度。该方法在理论上具有合理性，并且在中等规模问题上也表现出实际有效性。

ABSTRACT

Iterative thresholding algorithms are well-suited for high-dimensional problems in sparse recovery and compressive sensing. The performance of this class of algorithms depends heavily on the tuning of certain threshold parameters. In particular, both the final reconstruction error and the convergence rate of the algorithm crucially rely on how the threshold parameter is set at each step of the algorithm. In this paper, we propose a parameter-free approximate message passing (AMP) algorithm that sets the threshold parameter at each iteration in a fully automatic way without either having an information about the signal to be reconstructed or needing any tuning from the user. We show that the proposed method attains both the minimum reconstruction error and the highest convergence rate. Our method is based on applying the Stein unbiased risk estimate (SURE) along with a modified gradient descent to find the optimal threshold in each iteration. Motivated by the connections between AMP and LASSO, it could be employed to find the solution of the LASSO for the optimal regularization parameter. To the best of our knowledge, this is the first work concerning parameter tuning that obtains the fastest convergence rate with theoretical guarantees.

研究动机与目标

• 消除近似消息传递（AMP）算法中手动调节阈值参数的需求。
• 通过AMP实现信号重建的最小可能均方误差（MSE）。
• 在不依赖信号先验知识的前提下，确保AMP的最快收敛速度。
• 开发一种完全自动、无需用户干预的AMP调参机制，该机制在理论上具有依据且在实践中有效。

提出的方法

• 该方法使用Stein的无偏风险估计（SURE）来估计AMP在每次迭代中输出的风险（MSE）。
• 它应用一种改进的梯度下降法，以最小化估计风险，并在每次迭代中找到最优的阈值参数。
• 阈值参数基于SURE风险估计的梯度进行迭代更新，而无需了解真实信号。
• 该算法被设计为收敛到最小化MSE并同时最大化收敛速度的最优阈值。
• 它利用AMP与LASSO之间的渐近等价性，间接找到LASSO的最优正则化参数。
• 该方法对步长参数 $\Delta_N$ 的选择具有鲁棒性，在广泛取值范围内性能稳定。

实验结果

研究问题

• RQ1 AMP是否能在不依赖信号先验知识的情况下实现最小可能的重建误差？
• RQ2 能否通过自动阈值调节来最大化AMP的收敛速度？
• RQ3 是否可以设计一种无参数的AMP算法，在无需用户干预的情况下实现最优性能？
• RQ4 使用SURE和梯度下降进行阈值选择与基于“理想”参数调优的AMP相比如何？
• RQ5 所提出的方法在步长参数 $\Delta_N$ 变化时具有多大程度的鲁棒性？

主要发现

• 所提出的算法实现了AMP可达到的最小均方误差（MSE），其性能与基于“理想”参数调优的AMP相当。
• 该算法在所有采用固定阈值策略的AMP变体中，确保了最快的收敛速度。
• 算法估计出的最优阈值 $\hat{\tau}_{\text{opt}}$ 非常接近通过在值域上穷举搜索得到的真实 $\tau_{\text{opt}}$。
• 即使在中等规模问题下，该算法也表现良好，$N=1000$ 时风险估计准确且性能优异。
• 该方法对步长参数 $\Delta_N$ 的变化具有鲁棒性，在 $0.1\Delta_0$ 到 $10\Delta_0$ 的广泛取值范围内性能稳定。
• 实验结果表明，基于梯度下降调优的AMP收敛速度与固定-$\tau_{\text{opt}}$ 版本相当，最终MSE几乎完全一致。