[论文解读] Distributed Approximate Message Passing for Compressed Sensing

Puxiao Han, Ruixin Niu+1 more|arXiv (Cornell University)|Apr 14, 2014

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

该论文针对未知稀疏度的传感器网络压缩感知问题，提出了一种分布式近似消息传递（DAMP）方法，采用一种新颖的AMP全局计算（GCAMP）算法，以最小化传感器间通信开销。GCAMP使分布式系统在保持与集中式AMP相同恢复性能的同时，相比改进的阈值算法，将通信成本降低了高达60%。

ABSTRACT

In this paper, an efficient distributed approach for implementing the approximate message passing (AMP) algorithm, named distributed AMP (DAMP), is developed for compressed sensing (CS) recovery in sensor networks with the sparsity K unknown. In the proposed DAMP, distributed sensors do not have to use or know the entire global sensing matrix, and the burden of computation and storage for each sensor is reduced. To reduce communications among the sensors, a new data query algorithm, called global computation for AMP (GCAMP), is proposed. The proposed GCAMP based DAMP approach has exactly the same recovery solution as the centralized AMP algorithm, which is proved theoretically in the paper. The performance of the DAMP approach is evaluated in terms of the communication cost saved by using GCAMP. For comparison purpose, thresholding algorithm (TA), a well known distributed Top-K algorithm, is modified so that it also leads to the same recovery solution as the centralized AMP. Numerical results demonstrate that the GCAMP based DAMP outperforms the Modified TA based DAMP, and reduces the communication cost significantly.

研究动机与目标

• 开发一种无需事先知晓信号稀疏度或全局传感矩阵的分布式压缩感知算法。
• 在迭代信号恢复过程中降低传感器网络的通信开销。
• 设计一种全局计算方法，使其在保持与集中式AMP等价性的同时，最小化消息交换。
• 将所提方法的通信效率与改进的阈值算法进行评估。

提出的方法

• 提出分布式AMP（DAMP），其中每个传感器仅使用其本地传感矩阵执行本地计算，并通过消息传递迭代更新估计值。
• 提出AMP的全局计算（GCAMP）算法，一种新颖算法，可高效聚合本地结果，从而减少传感器间的消息传输。
• 使用中间矩阵 $ W_t $ 将本地计算与全局计算解耦，从而实现AMP更新规则的分布式实现。
• 采用基于噪声方差和迭代次数自适应调整的软阈值算子 $ \eta_t $。
• 对 $ \tau $ 参数实施调优程序，以在无需事先知晓稀疏度的情况下近似达到最优性能。
• 将阈值算法（TA）改进为改进型TA变体，以确保与集中式AMP的公平比较。

实验结果

研究问题

• RQ1 能否设计一种分布式AMP算法，使其在不依赖全局传感矩阵信息的情况下，达到与集中式AMP相当的恢复性能？
• RQ2 在保持解的准确性的同时，能否显著降低分布式压缩感知中的通信成本？
• RQ3 所提出的GCAMP算法与改进的阈值算法相比，在消息减少和收敛效率方面表现如何？
• RQ4 信号稀疏度、噪声水平以及传感器数量的变化对通信效率有何影响？

主要发现

• 理论证明表明，基于GCAMP的DAMP可达到与集中式AMP相同的恢复解。
• 在所有测试场景中，GCAMP相比改进型TA基线，通信成本降低了22.7%至48.2%。
• 在每次迭代中，GCAMP使用的消息数少于 $ N(P-1) $ 的91%，且超过95%的迭代仅使用了40%至80%的消息。
• 数值结果表明，GCAMP始终优于改进型TA，GCAMP的 $ \bar{\mu}_M $ 值范围为0.518至0.773，而改进型TA为0.941至1.110。
• 在低噪声和低信号稀疏度条件下，通信成本节省最为显著，且GCAMP在传感器数量（P = 5至50）变化时仍保持高效。
• 消息使用量的累积分布显示，GCAMP在高概率下维持较低的消息负载，表明其具备鲁棒性和可扩展性。