[论文解读] Multi-Processor Approximate Message Passing Using Lossy Compression

Puxiao Han, Junan Zhu+2 more|arXiv (Cornell University)|Jan 18, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 7

一句话总结

本文提出了一种通信高效的多处理器近似消息传递（MP-AMP）框架，通过使用有损压缩来减少处理器间的数据传输。通过将量化噪声整合到改进的状态演化模型中，该框架实现了跨迭代的最优或启发式编码速率分配，与集中式AMP相比，在通信量减少50%以上的同时仅造成微小的性能损失。

ABSTRACT

In this paper, a communication-efficient multi-processor compressed sensing framework based on the approximate message passing algorithm is proposed. We perform lossy compression on the data being communicated between processors, resulting in a reduction in communication costs with a minor degradation in recovery quality. In the proposed framework, a new state evolution formulation takes the quantization error into account, and analytically determines the coding rate required in each iteration. Two approaches for allocating the coding rate, an online back-tracking heuristic and an optimal allocation scheme based on dynamic programming, provide significant reductions in communication costs.

研究动机与目标

• 解决多处理器压缩感知系统中高通信成本的问题。
• 在不显著降低信号恢复质量的前提下，减少MP-AMP的通信开销。
• 构建一个能够考虑有损压缩带来的量化误差的状态演化框架。
• 设计高效的编码速率分配策略，以最小化总比特数同时保持性能。
• 在通信为瓶颈的集群环境中实现实际部署，采用熵编码量化。

提出的方法

• 通过均匀量化结合熵编码引入有损压缩，以减少MP-AMP通信步骤中的数据量。
• 重新表述状态演化模型以包含量化噪声，从而实现对迭代过程中失真程度的分析预测。
• 提出一种在线回溯启发式方法，用于每轮迭代中的动态编码速率分配。
• 设计一种基于动态规划的最优速率分配方案，以最小化目标失真下的总比特数。
• 利用率失真函数建模每轮迭代中比特率与量化误差之间的权衡。
• 在仿真中应用熵编码标量量化（ECSQ），并采用0.255比特的间隙校正以提高高码率近似的准确性。

实验结果

研究问题

• RQ1 如何在不显著降低信号恢复质量的前提下，减少MP-AMP中的处理器间通信成本？
• RQ2 量化噪声对MP-AMP收敛性和准确性的影响是什么？如何对其进行分析建模？
• RQ3 与固定码率方案相比，动态编码速率分配能否提升MP-AMP的通信效率？
• RQ4 在通信节省和性能方面，在线启发式方法与基于动态规划的速率分配方案有何差异？
• RQ5 当在MP-AMP中使用熵编码时，理论率失真模型在多大程度上能准确预测实际性能？

主要发现

• 所提出的框架相比标准32位浮点传输，实现了超过50%的通信成本降低，且性能损失极小。
• 在ε=0.03、T=8的仿真条件下，基于动态规划的速率分配（DP-MP-AMP）将每元素总比特数减少至18.04（相比回溯法的36.09）。
• 尽管早期阶段存在初始失真，DP-MP-AMP在8次迭代后仍能实现与集中式AMP相差1 dB以内的SDR。
• 在高码率下，ECSQ实现与理论预测高度吻合，0.255比特的间隙校正显著提升了高码率区域的准确性。
• 回溯启发式方法相比32位传输实现了超过80%的通信节省，同时保持SDR接近集中式AMP。
• 改进的状态演化模型能准确预测量化条件下的系统行为，从而支持可靠的速率分配。