[论文解读] Establishing consistency and improving uncertainty estimates of variational inference through M-estimation

Ted Westling, Tyler H. McCormick|arXiv (Cornell University)|Oct 28, 2015

Bayesian Methods and Mixture Models参考文献 22被引用 11

一句话总结

本文通过将变分推断（VI）与M-估计理论联系起来，建立了独立同分布（i.i.d.）混合模型中的一致性，并改进了不确定性估计。该研究推导出一个沙漏渐近协方差矩阵及一个一致估计量，从而在模型误设情况下仍能构建有效的置信区域和假设检验，特别针对高斯变分近似（GVA）给出了具体结果。

ABSTRACT

Variational inference (VI) is gaining popularity as a scalable estimation procedure for latent variable models. VI often empirically achieves similar predictive performance to slower, exact alternatives, but less is known about the viability of VI in contexts where parameter estimation and model interpretation are the primary goals. In this paper we connect VI for independent, identically distributed (IID) mixture models to M-estimation. We leverage extensive results about M-estimators from statistical theory to provide general conditions for consistency and asymptotic normality of VI point estimators. We also derive a sandwich asymptotic covariance matrix and a consistent estimator thereof. Our estimated covariance can be used to construct valid confidence regions and tests and is robust to model misspecification. We provide more specific conditions for the Gaussian Variational Approximation (GVA), which has been implemented in broad generality in the open-source software Stan. We conduct a thorough simulation study demonstrating our derived covariance matrix under correct and misspecified models and apply our methods to estimate a mixed effects logistic regression using data from the National Longitudinal Study of Adolescent Health.

研究动机与目标

• 解决在参数估计与模型解释背景下，变分推断缺乏理论保证的问题。
• 为独立同分布混合模型中VI点估计量的一致性与渐近正态性建立一般性条件。
• 在模型误设条件下，推导出用于不确定性估计的鲁棒沙漏渐近协方差矩阵。
• 提供协方差矩阵的一致估计量，以构建有效的置信区域与假设检验。
• 将结果特化至广泛应用于Stan中的高斯变分近似（GVA），以支持实际实现。

提出的方法

• 将独立同分布混合模型的变分推断与M-估计理论相联系，以利用已有的渐近结果。
• 基于M-估计器理论，推导VI估计量一致性和渐近正态性的通用条件。
• 为VI估计量构建一个沙漏渐近协方差矩阵，以量化不确定性。
• 提出一个在模型误设下仍有效的沙漏协方差矩阵的一致估计量。
• 将该框架应用于高斯变分近似（GVA），实现于Stan中。
• 通过模拟研究和一个真实世界应用（混合效应逻辑斯蒂回归）验证了该方法。

实验结果

研究问题

• RQ1 在何种条件下，变分推断估计量在独立同分布混合模型中是一致且渐近正态的？
• RQ2 能否为VI估计量推导出一个鲁棒的沙漏协方差矩阵，以确保在模型误设情况下的有效推断？
• RQ3 在有限样本下，所提出的不确定性估计量在模型正确与误设情况下的表现如何？
• RQ4 高斯变分近似（GVA）中，一致性和渐近正态性的具体正则条件是什么？
• RQ5 所推导的不确定性估计能否有效应用于真实世界数据，例如在混合效应逻辑斯蒂回归中？

主要发现

• 本文建立了变分推断估计量在独立同分布混合模型中一致且渐近正态的一般性条件。
• 为VI估计量推导出一个沙漏渐近协方差矩阵，实现了在模型误设情况下的鲁棒方差估计。
• 提出了一致的沙漏协方差矩阵估计量，使得有效的置信区域与假设检验成为可能。
• 模拟研究证实了在模型正确与误设情况下，不确定性估计的鲁棒性。
• 该方法成功应用于基于青少年健康纵向研究数据的混合效应逻辑斯蒂回归估计。
• 结果表明，GVA框架支持可靠的推断，其不确定性估计既具有理论基础，也经受住了实证检验。