[论文解读] Copula variational inference

Dustin Tran, David M. Blei+1 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 18被引用 33

一句话总结

混合 Copula 变分推断（Copula VI）通过在变分族中引入 Copula 来建模潜在变量之间的依赖关系，从而增强均值场和结构化变分推断，显著降低近似偏差并提高鲁棒性。它采用在均值场与 Copula 参数之间交替优化的方式，实现了可扩展的、通用的推断，其在准确性和对初始化及超参数的敏感性方面均优于标准方法。

ABSTRACT

We develop a general variational inference method that preserves dependency among the latent variables. Our method uses copulas to augment the families of distributions used in mean-field and structured approximations. Copulas model the dependency that is not captured by the original variational distribution, and thus the augmented variational family guarantees better approximations to the posterior. With stochastic optimization, inference on the augmented distribution is scalable. Furthermore, our strategy is generic: it can be applied to any inference procedure that currently uses the mean-field or structured approach. Copula variational inference has many advantages: it reduces bias; it is less sensitive to local optima; it is less sensitive to hyperparameters; and it helps characterize and interpret the dependency among the latent variables.

研究动机与目标

• 为解决均值场变分推断的局限性，该方法假设潜在变量之间条件独立，从而在后验近似中引入显著偏差。
• 开发一种通用且可扩展的方法，在无需模型特定推导的情况下，保留后验分布中的复杂依赖关系。
• 通过引入灵活且可学习的依赖结构，降低变分推断对局部最优解和超参数选择的敏感性。
• 通过基于 Copula 的建模，实现对潜在变量依赖关系的可解释表征。

提出的方法

• 在标准均值场变分族中引入 Copula，以建模因子化近似未能捕捉的残余依赖关系。
• 采用两步交替优化：首先在固定 Copula 的情况下重新估计均值场参数（即边缘分布），然后在固定边缘分布的情况下重新估计 Copula 参数。
• 应用随机优化以实现大规模数据集上的可扩展推断，支持黑箱适用性。
• 采用高斯 Copula 作为灵活且可微的构造方式，以建模潜在空间中的非线性和非高斯依赖关系。
• 利用藤 Copula 框架，将建模能力扩展至高维潜在结构。
• 可无缝集成至现有的黑箱变分推断框架中，仅需提供对数似然函数即可完成模型定义。

实验结果

研究问题

• RQ1 是否可以系统性地利用 Copula 提升均值场和结构化推断中变分近似的表达能力，而无需进行模型特定的推导？
• RQ2 基于 Copula 的增强如何影响潜在变量模型中变分推断的偏差、方差和收敛行为？
• RQ3 与标准均值场方法及更高阶方法（如 LRVB）相比，Copula VI 在多大程度上降低了对局部最优解和超参数选择的敏感性？
• RQ4 在真实世界模型（如高斯混合模型和潜在空间网络）中，Copula VI 是否能够准确捕捉并解释潜在变量之间的复杂依赖关系？

主要发现

• Copula VI 通过建模均值场推断忽略的依赖关系，显著降低了后验近似中的偏差，尤其在估计后验方差方面表现突出。
• 在高斯混合模型中，与均值场和 LRVB 方法相比，Copula VI 在参数估计中表现出更低的误差，并显著降低了对初始化和超参数的敏感性。
• 在 MNIST 0/1 分类任务中，Copula VI 达到了 0.06 的测试错误率，优于 LRVB（其错误率在 0.06 到 0.32 之间波动，取决于初始化），展现出更优的鲁棒性。
• 在包含 100,000 个节点的潜在空间模型中，Copula VI 在完全收敛后（耗时 2 小时）实现了 -50.5 的预测对数似然，显著优于均值场（-383.2）和 LRVB（-330.5），且在仅使用 2 步时的运行时间也快于 LRVB。
• 即使仅经过两步（一次 Copula 拟合），Copula VI 也达到了 -303.2 的预测对数似然，已优于 LRVB 在准确性和速度方面的表现。
• Copula VI 约在 10 步内收敛，且 ELBO 值呈现稳定、单调的提升，证实了交替优化策略的有效性。