[论文解读] Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior

Yutian Chen, Max Welling|arXiv (Cornell University)|Jun 5, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用 6

一句话总结

本文提出了一种使用尖刺与泥浆先验的全贝叶斯方法，用于马尔可夫随机场（MRF）结构学习，实现了无需超参数调优的自动稀疏性诱导。通过结合Langevin动力学与可逆跳跃MCMC，该方法在预测准确性和稳定性方面优于L1正则化方法，且在不同稀疏度水平下表现更优，即使在小样本数据集上亦如此。

ABSTRACT

In recent years a number of methods have been developed for automatically learning the (sparse) connectivity structure of Markov Random Fields. These methods are mostly based on L1-regularized optimization which has a number of disadvantages such as the inability to assess model uncertainty and expensive cross-validation to find the optimal regularization parameter. Moreover, the model's predictive performance may degrade dramatically with a suboptimal value of the regularization parameter (which is sometimes desirable to induce sparseness). We propose a fully Bayesian approach based on a "spike and slab" prior (similar to L0 regularization) that does not suffer from these shortcomings. We develop an approximate MCMC method combining Langevin dynamics and reversible jump MCMC to conduct inference in this model. Experiments show that the proposed model learns a good combination of the structure and parameter values without the need for separate hyper-parameter tuning. Moreover, the model's predictive performance is much more robust than L1-based methods with hyper-parameter settings that induce highly sparse model structures.

研究动机与目标

• 为解决L1正则化MRF结构学习的局限性，如对正则化强度敏感以及缺乏不确定性量化。
• 开发一种全贝叶斯框架用于MRF结构学习，实现自动稀疏性选择，并联合推断结构与参数。
• 通过设计近似推断方法，克服由于配分函数导致的MRF中MCMC计算不可行的问题。
• 证明在MRF中使用尖刺与泥浆先验可比基于L1的方法更具鲁棒性，能更好避免过拟合与欠拟合。
• 通过层次先验学习稀疏度水平，实现无需交叉验证的自动化模型选择。

提出的方法

• 在MRF边参数上使用尖刺与泥浆先验以诱导稀疏性，对应于L0正则化，而非L1正则化。
• 采用改进的Langevin采样器，在固定结构内提出参数更新，提升高维参数空间中的混合效率。
• 结合可逆跳跃MCMC，提出在不同MRF结构之间的跨维移动，实现跨维采样。
• 在尖刺与泥浆概率 $p_0$ 上实施层次先验，以实现无需人工调优的稀疏度水平自动学习。
• 将Langevin动力学与可逆跳跃MCMC结合，对结构与参数进行近似贝叶斯推断。
• 使用近似推断处理MRF中不可计算的配分函数，避免对精确MCMC的依赖。

实验结果

研究问题

• RQ1 具有尖刺与泥浆先验的全贝叶斯MRF结构学习方法是否能在预测性能与鲁棒性方面优于L1正则化方法？
• RQ2 所提出的MCMC方法是否能有效探索MRF结构的指数级庞大的空间，同时保持准确的后验近似？
• RQ3 $p_0$ 上的层次先验是否能自动学习最优稀疏度水平，而无需交叉验证或人工调优？
• RQ4 与基于L1的方法相比，该贝叶斯模型在小样本数据集上的结构恢复能力与预测准确性如何？
• RQ5 与L1正则化相比，尖刺与泥浆先验在多大程度上减少了MRF中的过拟合与欠拟合？

主要发现

• 采用层次 $p_0$ 先验的贝叶斯模型在性能图的右上角附近达到接近最优的F1分数与CLL值，表明其在边检测与参数学习方面表现优异。
• 在模拟数据上，贝叶斯方法能准确匹配真实稀疏度水平，而基于L1的方法在同一稀疏度下显著欠拟合。
• 在MNIST数据集上，贝叶斯方法在100张与1000张训练图像下，平均CLL值均优于基于L1的方法，尤其在稀疏与密集模型设置中表现更优。
• 尽管计算速度较慢，贝叶斯方法无需任何超参数调优，且对过拟合与欠拟合具有鲁棒性；而基于L1的方法在正则化强度不佳时性能急剧下降。
• 即使在固定稀疏度下L1方法的CLL值更高，贝叶斯模型的Gibbs采样仍能生成质量更优的图像样本。
• 该方法的预测性能对超参数选择不敏感，而L1方法则需仔细进行交叉验证才能获得最佳性能。