[论文解读] Incorporating Expressive Graphical Models in Variational Approximations: Chain-Graphs and Hidden Variables

Tal El‐Hay, Nit Friedman|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用 10

一句话总结

本文提出在变分推断中使用链图和隐变量贝叶斯网络，以提升复杂图模型中的近似质量。通过将标准变分方法扩展至超越简单贝叶斯网络或马尔可夫网络的结构，该方法能够更丰富地表示多变量依赖关系，从而在后验推断中实现近似精度与计算效率之间的更好权衡。

ABSTRACT

Global variational approximation methods in graphical models allow efficient approximate inference of complex posterior distributions by using a simpler model. The choice of the approximating model determines a tradeoff between the complexity of the approximation procedure and the quality of the approximation. In this paper, we consider variational approximations based on two classes of models that are richer than standard Bayesian networks, Markov networks or mixture models. As such, these classes allow to find better tradeoffs in the spectrum of approximations. The first class of models are chain graphs, which capture distributions that are partially directed. The second class of models are directed graphs (Bayesian networks) with additional latent variables. Both classes allow representation of multi-variable dependencies that cannot be easily represented within a Bayesian network.

研究动机与目标

• 解决标准变分近似所依赖的过于简化的模型（如贝叶斯网络或马尔可夫网络）的局限性。
• 通过引入更丰富的图模型结构，提升变分近似的质量。
• 实现对复杂多变量依赖关系的更好表示，这些依赖关系在标准的有向或无向模型中难以捕捉。
• 探索变分推断中近似精度与计算复杂度之间的权衡。
• 为在复杂后验推断任务中使用链图和隐变量模型作为变分近似器提供一个框架。

提出的方法

• 采用链图——一种混合有向与无向的图模型——作为变分推断中的近似族。
• 在贝叶斯网络结构中引入隐变量，以增强其对复杂依赖关系建模的表达能力。
• 通过优化对数证据的下界，将变分推断公式化为基于这些更丰富模型的方法。
• 利用坐标上升变分推断（CAVI）推导近似链图和隐变量模型中参数的更新规则。
• 利用链图和含隐变量的贝叶斯网络的条件独立性质，简化变分目标。
• 将该方法应用于真实世界推断问题，其中标准模型无法有效捕捉复杂依赖关系。

实验结果

研究问题

• RQ1 链图是否能提供比标准贝叶斯网络或马尔可夫网络更具表达力的变分近似？
• RQ2 贝叶斯网络中的隐变量如何提升变分近似的质量？
• RQ3 使用更丰富的图模型对近似精度与计算复杂度之间的权衡有何影响？
• RQ4 链图和隐变量模型能否捕捉标准模型无法捕捉的多变量依赖关系？
• RQ5 在真实推断任务中，所提出的模型与基线变分近似在性能上相比如何？

主要发现

• 链图能够更丰富地表示条件独立结构，从而更好地近似复杂的后验分布。
• 在贝叶斯网络中引入隐变量可显著提升变分近似的质量，通过捕捉未观测到的依赖关系。
• 与标准变分族相比，所提出的方法在近似精度与计算效率之间实现了更好的权衡。
• 使用链图和隐变量网络等表达性强的模型，可使变分推断中的对数证据下界更紧。
• 实证结果表明，所提出的近似方法在捕捉复杂多变量依赖关系方面优于标准变分模型。
• 该框架具有通用性，可应用于标准变分近似不足的各类概率模型。