[论文解读] Bayesian Sparsity for Intractable Distributions

John Ingraham, Debora S. Marks|arXiv (Cornell University)|Feb 11, 2016

Gaussian Processes and Bayesian Inference参考文献 43被引用 7

一句话总结

本文提出Fadeout，一种使用非中心化参数化方法的变分推断技术，旨在改善具有不可计算归一化常数的层次贝叶斯模型中的后验近似。通过将随机变分推断扩展至无向模型，并利用非中心化先验，该方法在稀疏及组稀疏推断中显著提升了准确性，尤其适用于具有不可计算归一化常数的模型。

ABSTRACT

Bayesian approaches for single-variable and group-structured sparsity outperform L1 regularization, but are challenging to apply to large, potentially intractable models. Here we show how noncentered parameterizations, a common trick for improving the efficiency of exact inference in hierarchical models, can similarly improve the accuracy of variational approximations. We develop this with two contributions: First, we introduce Fadeout, an approach for variational inference that uses noncentered parameterizations to capture a posteriori correlations between parameters and hyperparameters. Second, we extend stochastic variational inference to undirected models, enabling efficient hierarchical Bayes without approximations of intractable normalizing constants. We find that this framework substantially improves inferences of undirected graphical models under both sparse and group-sparse priors.

研究动机与目标

• 解决在精确推断计算上不可行的大规模、不可计算模型中应用贝叶斯稀疏方法的挑战。
• 通过捕捉参数与超参数之间的后验相关性，提升层次模型中变分推断的准确性。
• 将随机变分推断扩展至无向图模型，避免对不可计算归一化常数进行近似。
• 为具有复杂、不可计算似然函数的模型，开发一种适用于组结构和单变量稀疏性的可扩展框架。
• 证明非中心化参数化可提升稀疏贝叶斯模型中变分推断的性能。

提出的方法

• 提出Fadeout，一种变分推断框架，通过在参数与超参数之间的层次依赖关系中应用非中心化参数化。
• 利用非中心化参数化，通过更好地捕捉潜在变量与超参数之间的相关性，改善后验近似。
• 通过重参数化技术避免对不可计算归一化常数的近似，将随机变分推断扩展至无向模型。
• 采用联合后验的重参数化形式，使具有不可计算似然函数的模型能够实现高效的基于梯度的优化。
• 将该方法应用于稀疏和组稀疏先验，实现高维、复杂模型中的精确推断。
• 利用层次模型的结构，在不显著增加计算复杂度的前提下，提升变分近似的质量。

实验结果

研究问题

• RQ1 非中心化参数化能否提升具有不可计算后验的层次贝叶斯模型中变分推断的准确性？
• RQ2 如何在不近似不可计算归一化常数的前提下，将随机变分推断扩展至无向图模型？
• RQ3 Fadeout在稀疏和组稀疏推断任务中，相较于标准L1正则化和中心化参数化，性能提升程度如何？
• RQ4 非中心化参数化在高维模型中，能否有效捕捉参数与超参数之间的后验相关性？
• RQ5 非中心化参数化对不可计算模型中变分推断的收敛性和稳定性有何影响？

主要发现

• Fadeout通过非中心化参数化捕捉参数与超参数之间的后验相关性，显著提升了变分推断的准确性。
• 该方法通过避免对不可计算归一化常数的近似，实现了无向图模型中可扩展的层次贝叶斯推断。
• 在稀疏和组稀疏设置中，与标准中心化方法相比，非中心化参数化能提供更精确的后验近似。
• 该框架在单变量和组结构稀疏性场景下，均优于L1正则化方法。
• 该方法在保持计算效率的同时，实现了更优的后验覆盖度和更低的近似误差，尤其在复杂模型中表现突出。
• 实证结果表明，该方法能有效处理不可计算分布，尤其在高维和结构化稀疏性问题中表现优异。