[论文解读] Bayesian Pursuit Algorithms

Cédric Herzet, Angélique Drémeau|arXiv (Cornell University)|Jan 1, 2012

Sparse and Compressive Sensing Techniques参考文献 42被引用 29

一句话总结

本文提出了贝叶斯追踪算法（BPAs），这是一类稀疏表示方法，通过使用伯努利-高斯先验，在贝叶斯框架下统一并推广了经典追踪算法（如OMP、CoSaMP等）。通过将稀疏恢复问题表述为最大后验概率（MAP）估计，BPAs实现了原子的选择与剔除，融入了对原子出现概率的先验知识，并对未知模型参数进行估计——提供了一种原理清晰、灵活的替代方案，相较于贪心追踪方法具有坚实的理论基础，并与现有算法保持紧密联系。

ABSTRACT

This paper addresses the sparse representation (SR) problem within a general Bayesian framework. We show that the Lagrangian formulation of the standard SR problem, i.e., $\mathbf{x}^\star=\arg\min_\mathbf{x} \lbrace \| \mathbf{y}-\mathbf{D}\mathbf{x} \|_2^2+λ\| \mathbf{x}\|_0 brace$, can be regarded as a limit case of a general maximum a posteriori (MAP) problem involving Bernoulli-Gaussian variables. We then propose different tractable implementations of this MAP problem that we refer to as "Bayesian pursuit algorithms". The Bayesian algorithms are shown to have strong connections with several well-known pursuit algorithms of the literature (e.g., MP, OMP, StOMP, CoSaMP, SP) and generalize them in several respects. In particular, i) they allow for atom deselection; ii) they can include any prior information about the probability of occurrence of each atom within the selection process; iii) they can encompass the estimation of unkown model parameters into their recursions.

研究动机与目标

• 建立标准稀疏表示问题与使用伯努利-高斯先验的贝叶斯MAP公式之间的理论联系。
• 设计可计算、迭代的算法以求解所提出的贝叶斯MAP问题，支持原子的选择与剔除。
• 通过引入对原子出现概率的先验知识以及未知模型参数，推广现有追踪算法。
• 证明如OMP、StOMP、CoSaMP和SP等知名算法在特定参数设置下可作为所提框架的特例。

提出的方法

• 通过在稀疏向量x上使用伯努利-高斯先验，将稀疏表示问题表述为MAP估计问题。
• 通过在稀疏向量x和支撑指示变量s之间交替最大化，推导出迭代算法（如BOMP、BSP等）。
• 使用变分推理与坐标上升法计算近似后验众数，实现x和s更新的高效计算。
• 引入每个原子的先验概率pi以指导选择与剔除，实现对稀疏性的有信息建模。
• 在算法递推过程中实现对未知参数（如噪声方差σ²w和稀疏性先验方差σ²x）的联合估计。
• 在特定参数选择下（特别是σ²w → 0且σ²x → ∞时），建立所提算法与经典追踪方法（如SP、OMP）之间的等价性。

实验结果

研究问题

• RQ1 标准稀疏表示问题（ℓ0正则化）能否被解释为伯努利-高斯先验下贝叶斯MAP问题的极限情况？
• RQ2 如何设计高效的迭代贝叶斯算法，以求解所得MAP估计问题，同时支持原子的选择与剔除？
• RQ3 在多大程度上，现有追踪算法（如OMP、CoSaMP和SP）可作为所提贝叶斯框架的特例被恢复？
• RQ4 在稀疏恢复中，引入对原子出现概率的先验知识在多大程度上能提升性能与灵活性？
• RQ5 是否可在算法框架内联合估计未知模型参数（如噪声方差与稀疏性先验方差）？

主要发现

• 所提出的贝叶斯追踪算法推广了经典追踪方法：在特定参数设置下，OMP、StOMP、CoSaMP和SP均被证明为该框架的特例。
• 该框架支持原子剔除，这是标准前向追踪算法（如OMP和StOMP）所不具备的功能。
• 为每个原子引入先验概率pi，可实现有信息的原子选择，从而在结构化稀疏场景中提升鲁棒性与性能。
• 算法性能与最先进方法相当，在多种信号模型下均表现出更高的恢复精度与稳定性。
• 理论证明了在σ²w → 0且σ²x → ∞的极限下，所提贝叶斯算法与SP等价，验证了与已知方法的一致性。
• 在算法循环内联合估计未知参数（σ²w, σ²x）显著增强了在模型知识不完全的真实场景中的适应性与鲁棒性。