[论文解读] Bayesian inference for spatio-temporal spike-and-slab priors
本文提出了一种贝叶斯时空稀疏-稀释先验，通过在稀疏-稀释概率上使用变换的高斯过程，对空间和时间上的相关稀疏性进行建模。利用期望传播进行近似推断，该方法能够在欠定线性反问题中实现对稀疏信号的精确恢复，且通过三种近似方案显著提升了大规模应用下的计算效率。
In this work, we address the problem of solving a series of underdetermined linear inverse problems subject to a sparsity constraint. We generalize the spike-and-slab prior distribution to encode a priori correlation of the support of the solution in both space and time by imposing a transformed Gaussian process on the spike-and-slab probabilities. An expectation propagation (EP) algorithm for posterior inference under the proposed model is derived. For large scale problems, the standard EP algorithm can be prohibitively slow. We therefore introduce three different approximation schemes to reduce the computational complexity. Finally, we demonstrate the proposed model using numerical experiments based on both synthetic and real data sets.
研究动机与目标
- 解决预期解为稀疏且支持在空间和时间上呈现结构化相关性的欠定线性反问题。
- 通过引入一个编码支持时空平滑性的潜伏高斯过程的层次化模型，扩展稀疏-稀释先验。
- 开发一种基于期望传播（EP）的高效近似推断算法，用于在所提模型下计算后验分布。
- 通过三种新颖的近似方案，降低EP在大规模问题中的计算复杂度。
- 在合成数据和真实世界数据（包括动态压缩感知和EEG源定位）上展示该方法的有效性。
提出的方法
- 使用稀疏-稀释先验对信号矩阵 X ∈ ℝ^{D×T} 的稀疏模式进行建模，其中包含概率由空间和时间上的潜伏高斯过程控制。
- 通过逻辑斯蒂函数 φ(γ_i) 构造变换的高斯过程，将潜伏GP值映射为稀疏-稀释包含概率。
- 使用期望传播（EP）近似难以计算的后验分布，包括稀疏信号和超参数。
- 提出三种近似方案，通过简化矩匹配和因子分解，降低EP的计算成本，尤其适用于大D和T的情况。
- 通过使用probit似然，将模型扩展至二值观测，从而支持稀疏线性分类的应用。
- 在超参数 ν₀ 和 κ²₀ 上使用弱信息先验，以避免最大似然估计中的收敛问题。
实验结果
研究问题
- RQ1具有时空结构的层次化稀疏-稀释先验是否能提升欠定线性反问题中的恢复性能？
- RQ2如何有效利用高斯过程先验来建模空间和时间上的平滑稀疏模式？
- RQ3在所提模型下，精确EP推断的计算瓶颈是什么，如何缓解？
- RQ4在先验中引入时空相关性是否能带来相较于标准稀疏性促进方法更优的相变行为？
- RQ5超参数的最大似然估计有多稳健？在退化情况下，何种先验可使其稳定？
主要发现
- 所提出的时空稀疏-稀释先验能有效建模结构化稀疏性，在合成数据和真实数据中均提升了信号恢复性能。
- 期望传播能为该模型提供精确的后验近似，即使在高维设置下亦然。
- 所提出的三种近似方案显著降低了计算成本，同时在大规模问题上保持了推断精度。
- 当真实支持为连续时，超参数 ν₀ 和 κ²₀ 的最大似然学习可能发散，原因在于似然曲面存在脊状结构。
- 对 κ²₀ 施加弱信息先验（如半t分布或对数正态分布）可确保优化过程有定义且收敛稳定。
- 在合成实验中，该模型的后验推断能成功恢复真实支持，即使在低信噪比条件下，也优于无结构化先验的方法。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。