[论文解读] On the Support Recovery of Jointly Sparse Gaussian Sources using Sparse Bayesian Learning

Saurabh Khanna, Chandra R. Murthy|arXiv (Cornell University)|Mar 15, 2017

Sparse and Compressive Sensing Techniques参考文献 50被引用 8

一句话总结

本文针对多测量向量（MMV）问题中联合稀疏高斯源的精确支持恢复，提供了非渐近、概率性的保证。研究表明，在联合稀疏诱导先验下，通过边缘化最大似然（类型-II ML）估计方差超参数，即使非零行数 $k$ 超过测量数 $m$，只要感知矩阵满足限制奇异值和零空间条件，即可实现支持恢复误差概率指数衰减的完美支持恢复。

ABSTRACT

In this work, we provide non-asymptotic, probabilistic guarantees for successful recovery of the common nonzero support of jointly sparse Gaussian sources in the multiple measurement vector (MMV) problem. The support recovery problem is formulated as the marginalized maximum likelihood (or type-II ML) estimation of the variance hyperparameters of a joint sparsity inducing Gaussian prior on the source signals. We derive conditions under which the resulting nonconvex constrained optimization perfectly recovers the nonzero support of a joint-sparse Gaussian source ensemble with arbitrarily high probability. The support error probability decays exponentially with the number of MMVs at a rate that depends on the smallest restricted singular value and the nonnegative null space property of the self Khatri-Rao product of the sensing matrix. Our analysis confirms that nonzero supports of size as high as O($m^2$) are recoverable from $m$ measurements per sparse vector. Our derived sufficient conditions for support consistency of the proposed constrained type-II ML solution also guarantee the support consistency of any global solution of the multiple sparse Bayesian learning (M-SBL) optimization whose nonzero coefficients lie inside a bounded interval. For the case of noiseless measurements, we further show that a single MMV is sufficient for perfect recovery of the $k$-sparse support by M-SBL, provided all subsets of $k + 1$ columns of the sensing matrix are linearly independent.

研究动机与目标

• 建立在MMV问题中，联合稀疏高斯源的支持可被精确恢复的非渐近、概率性条件。
• 分析约束型多稀疏贝叶斯学习（M-SBL）优化在类型-II最大似然估计下的支持一致性。
• 推导确保支持错误概率随MMV数量增加而指数衰减的充分条件，即使 $k > m$ 亦成立。
• 确认所提方法可保证任何全局解的支持一致性，前提是其非零系数位于有界区间内。
• 证明在无噪声情况下，仅需一个MMV即可实现完美支持恢复，前提是感知矩阵的所有 $k+1$ 个列子集均线性无关。

提出的方法

• 将支持恢复问题表述为在源信号上采用联合稀疏诱导高斯先验时，对方差超参数进行边缘化最大似然（类型-II ML）估计。
• 推导出一个非凸约束优化问题，通过超参数估计实现稀疏性，利用SBL的层次贝叶斯模型。
• 利用感知矩阵的自Khatri-Rao积的最小限制奇异值和非负零空间性质，分析解的支持一致性。
• 引入基于测量空间正交分解和特征值分析的几何论证，以界定后验精度矩阵的最小特征值。
• 使用反证法表明，若支持估计错误，则所得矩阵将导致超过 $\text{spark}(\mathbf{A})-1$ 个列的线性相关，违反spark条件。
• 建立后验精度矩阵最小特征值的下界，确保真实支持在优化中占优。

实验结果

研究问题

• RQ1 在SBL的边缘化最大似然估计下，何种条件下可完美恢复联合稀疏高斯源的公共支持？
• RQ2 当非零行数 $k$ 超过测量数 $m$ 时，能否保证支持恢复？
• RQ3 随着MMV数量的增加，支持错误概率的衰减速率如何？
• RQ4 感知矩阵的自Khatri-Rao积的限制奇异值和零空间性质如何影响支持恢复性能？
• RQ5 在无噪声情况下，单个MMV是否足以实现完美支持恢复？在何种条件下？

主要发现

• 支持错误概率随MMV数量呈指数衰减，衰减速率取决于感知矩阵自Khatri-Rao积的最小限制奇异值及其非负零空间性质。
• 该方法可保证 $k$-稀疏源的精确支持恢复，即使 $k = O(m^2)$，表明支持恢复可超越 $k < m$ 的传统范围。
• 在无噪声测量下，若感知矩阵的所有 $k+1$ 个列子集均线性无关，则单个MMV足以通过M-SBL实现完美支持恢复。
• 推导出的约束型类型-II ML解的支持一致性充分条件，同样可保证任何全局解的支持一致性，前提是其非零系数位于有界区间内。
• 为后验精度矩阵的最小特征值建立了 $c_1 / \tau^2$ 的下界，其中 $c_1 > 0$，确保真实支持在优化中占优。
• 分析结果表明，只要感知矩阵满足所需结构条件，支持恢复性能对高稀疏度水平具有鲁棒性。