[论文解读] Bayesian Compressive Sensing via Belief Propagation

Dror Baron, Shriram Sarvotham+1 more|ArXiv.org|Dec 25, 2008

Sparse and Compressive Sensing Techniques参考文献 50被引用 4

一句话总结

该论文提出了一种基于信念传播的贝叶斯压缩感知（CS-BP），这是一种快速、可扩展的方法，通过在因子图表示上使用近似贝叶斯推断，从亚奈奎斯特采样中重建稀疏信号。该方法在长度为 $N$ 且具有 $K$ 个显著系数的信号上实现 $O(K\log N)$ 采样和 $O(N\log^2 N)$ 计算复杂度，显著优于传统的 $\ell_1$ 方法在速度上的表现，同时在两态高斯混合模型下保持了高重建精度。

ABSTRACT

Compressive sensing (CS) is an emerging field based on the revelation that a small collection of linear projections of a sparse signal contains enough information for stable, sub-Nyquist signal acquisition. When a statistical characterization of the signal is available, Bayesian inference can complement conventional CS methods based on linear programming or greedy algorithms. We perform approximate Bayesian inference using belief propagation (BP) decoding, which represents the CS encoding matrix as a graphical model. Fast computation is obtained by reducing the size of the graphical model with sparse encoding matrices. To decode a length-N signal containing K large coefficients, our CS-BP decoding algorithm uses O(Klog(N)) measurements and O(Nlog^2(N)) computation. Finally, although we focus on a two-state mixture Gaussian model, CS-BP is easily adapted to other signal models.

研究动机与目标

• 开发一种利用贝叶斯推断从压缩线性测量中快速、可扩展地重建稀疏信号的算法。
• 降低现有压缩感知方法的计算复杂度，特别是基于 $\ell_1$ 最小化或贪婪算法的方法。
• 利用图模型和信念传播，在稀疏信号上实现高效的近似贝叶斯推断。
• 证明基于信念传播的解码方法在使用稀疏编码矩阵时，可实现接近最优的性能，同时显著降低计算量。
• 通过实现更快的解码速度而不牺牲重建保真度，将压缩感知的应用范围扩展到大规模问题。

提出的方法

• 该方法将压缩感知问题建模为因子图，将测量矩阵 $\Phi$ 表示为图模型，以支持信念传播（BP）解码。
• 采用对信号系数的两态高斯混合先验来建模稀疏性，其中大系数来自 $\mathcal{N}(0, \sigma_1^2)$，小系数来自 $\mathcal{N}(0, \sigma_0^2)$。
• 使用信念传播计算信号系数的近似后验边际分布，从而在不求解 NP 难的 $\ell_0$ 优化问题的情况下实现高效的贝叶斯推断。
• 通过使用稀疏编码矩阵 $\Phi$ 减少图模型的规模，其中每列包含 $L = \Theta(\log N)$ 个非零元素，从而实现快速消息传递。
• 通过利用 $\Phi$ 的稀疏性以及在因子图上的高效消息传递更新，该算法实现了 $O(N\log^2 N)$ 的计算时间。
• 该方法可扩展至除两态高斯混合模型外的其他信号模型，从而灵活应用于各种可压缩或近似稀疏的信号。

实验结果

研究问题

• RQ1 信念传播能否有效用于压缩感知中的近似贝叶斯推断，并显著降低计算复杂度？
• RQ2 在高斯混合模型下，使用基于 BP 的解码方法进行可靠信号重建所需的最少测量数是多少？
• RQ3 基于 BP 的解码计算复杂度如何随信号维度 $N$ 和稀疏度 $K$ 变化？
• RQ4 稀疏编码矩阵是否能在保持重建精度的同时，实现因子图上的快速消息传递？
• RQ5 在速度和精度方面，CS-BP 与传统的 $\ell_1$ 最小化和贪婪算法相比表现如何？

主要发现

• CS-BP 算法实现 $O(K\log N)$ 采样，达到稀疏信号恢复的信息论下限。
• 该算法的计算量为 $O(N\log^2 N)$，显著快于标准 $\ell_1$ 最小化方法的 $O(N^3)$ 复杂度。
• 以高概率 $1 - 2N^{-\gamma}$，重建误差 $\|\widehat{a} - x\|_{\infty}$ 被限制在 $\mu\sigma_1$ 以内，确保了大系数的准确恢复。
• 该方法对信号模型假设具有鲁棒性，可轻松适配至除两态高斯混合外的其他信号分布。
• 使用每列具有 $L = \Theta(\log N)$ 个非零元素的稀疏编码矩阵，可实现高效的消息传递，并保持接近最优的恢复性能。
• 理论分析证实，测量数的规模为 $O(N(1 + 2\eta^{-1}) \cdot \mu^{-2} \cdot [2S + (1-S)(\sigma_0/\sigma_1)^2] \log N)$，在稀疏度、噪声和精度之间实现了良好平衡。