[论文解读] Gaussian Approximation of Collective Graphical Models

Liping Liu, Daniel Sheldon+1 more|arXiv (Cornell University)|May 20, 2014

Bayesian Methods and Mixture Models参考文献 7被引用 5

一句话总结

本文提出了一种对集体图模型（CGM）的高斯近似方法，该方法在群体规模趋于无穷大时渐近收敛至多元高斯分布（GCGM），同时保持原始模型的条件独立性结构。该方法对高斯观测数据实现了高效且闭式求解的推理，对非高斯观测数据则采用期望传播（EP）方法，其精度与MAP近似相当，但在大规模问题上速度提升了6倍以上。

ABSTRACT

The Collective Graphical Model (CGM) models a population of independent and identically distributed individuals when only collective statistics (i.e., counts of individuals) are observed. Exact inference in CGMs is intractable, and previous work has explored Markov Chain Monte Carlo (MCMC) and MAP approximations for learning and inference. This paper studies Gaussian approximations to the CGM. As the population grows large, we show that the CGM distribution converges to a multivariate Gaussian distribution (GCGM) that maintains the conditional independence properties of the original CGM. If the observations are exact marginals of the CGM or marginals that are corrupted by Gaussian noise, inference in the GCGM approximation can be computed efficiently in closed form. If the observations follow a different noise model (e.g., Poisson), then expectation propagation provides efficient and accurate approximate inference. The accuracy and speed of GCGM inference is compared to the MCMC and MAP methods on a simulated bird migration problem. The GCGM matches or exceeds the accuracy of the MAP method while being significantly faster.

研究动机与目标

• 解决仅观测到集体计数数据时，集体图模型（CGMs）精确推理不可行的问题。
• 为CGMs开发一种可扩展的推理方法，保持条件独立性结构并支持高效计算。
• 在大规模问题上，评估高斯近似（GCGM）相对于现有MAP和MCMC方法的精度与效率。
• 证明GCGM近似在大群体极限下渐近有效，并保持CGM的结构特性。

提出的方法

• 当群体规模 $ N \to \infty $ 时，推导CGM的渐近分布为多元高斯分布（GCGM），通过保持相同的分离性质来保留条件独立性。
• 通过使用基于个体模型参数推导出的均值与协方差的多元正态分布，对CGM的充分统计量进行近似，构建GCGM。
• 对高斯观测数据使用闭式推理，利用精度矩阵结构实现条件分布的高效计算。
• 应用期望传播（EP）处理非高斯观测模型（如泊松分布），在现实噪声假设下实现精确推理。
• 通过拉普拉斯近似优化GCGM推理中的节点计数估计步骤，该步骤占主导计算成本。
• 将GCGM集成到EM框架中用于参数学习，使用GCGM完成E步推理。

实验结果

研究问题

• RQ1 当群体规模增大时，CGM分布是否收敛至多元高斯分布？
• RQ2 该高斯近似能否保持原始CGM的条件独立性结构？
• RQ3 GCGM在泊松分布计数等非高斯观测模型下的表现如何？
• RQ4 在大规模设置下，GCGM的精度与速度相较于MAP和MCMC推理如何？
• RQ5 与MAP近似相比，GCGM是否表现出更低的推理结果方差？

主要发现

• GCGM的相对推理误差与MAP近似相当或更低，尤其在群体规模增大时表现更优。
• 在49个细胞的鸟类迁徙问题中，GCGM方法的相对误差为 $ 0.020 \pm 0.003 $，而MAP方法的误差上升至 $ 0.113 \pm 0.015 $。
• 在所有测试问题规模（$ L = 16 $ 至 $ 144 $）下，GCGM方法的速度均比MAP近似快6倍以上。
• 与MAP方法相比，GCGM在更大规模问题上表现出显著更低的推理结果方差。
• 在参数学习方面，经过足够次EM迭代后，GCGM的精度与MAP相当或更优，即使在小群体规模下出现过拟合现象。
• GCGM的推理时间主要由节点计数估计决定，其中拉普拉斯优化是计算最耗时的组件。