[论文解读] Efficient Data Augmentation in Dynamic Models for Binary and Count Data

Jesse Windle, Carlos M. Carvalho+2 more|arXiv (Cornell University)|Aug 4, 2013

Statistical Methods and Bayesian Inference参考文献 19被引用 10

一句话总结

本文提出了一种针对具有二值和计数结果的动态广义线性模型的高效Pólya-Gamma数据增强技术，通过共轭条件更新实现快速后验抽样。该方法在小计数或少次试验的情境下显著优于现有方法，实现了更高的有效样本量和更快的MCMC混合速度。

ABSTRACT

Dynamic linear models with Gaussian observations and Gaussian states lead to closed-form formulas for posterior simulation. However, these closed-form formulas break down when the response or state evolution ceases to be Gaussian. Dynamic, generalized linear models exemplify a class of models for which this is the case, and include, amongst other models, dynamic binomial logistic regression and dynamic negative binomial regression. Finding and appraising posterior simulation techniques for these models is important since modeling temporally correlated categories or counts is useful in a variety of disciplines, including ecology, economics, epidemiology, medicine, and neuroscience. In this paper, we present one such technique, Pólya-Gamma data augmentation, and compare it against two competing methods. We find that the Pólya-Gamma approach works well for dynamic logistic regression and for dynamic negative binomial regression when the count sizes are small. Supplementary files are provided for replicating the benchmarks.

研究动机与目标

• 解决具有非高斯响应变量（如二值或计数数据）的动态模型中贝叶斯推断的计算挑战。
• 开发一种完全自动化的高效后验抽样方法，避免调参或解析近似。
• 将Pólya-Gamma数据增强技术与现有MCMC方法在动态逻辑斯蒂和负二项回归中进行比较。
• 在不同时间相关性水平、试验次数和计数大小下评估性能表现。
• 为流行病学、生态学和神经科学等领域的研究人员提供可扩展、可重用的实现方案。

提出的方法

• 利用Pólya-Gamma分布的潜变量构建数据增强方案，将非共轭似然转化为条件共轭形式。
• 采用Pólya-Gamma分布PG(b, ψ)表示似然展开中的辅助变量，从而实现后验条件分布的闭式解。
• 将该增强方法应用于状态向量βt以高斯随机游走或AR(1)过程演化的动态模型。
• 通过Gibbs抽样结合块更新进行后验推断，利用Pólya-Gamma增强带来的条件共轭性。
• 实现高效的Pólya-Gamma变体抽样算法，特别针对小b值（如少量试验或计数）进行优化。
• 采用基于C语言的实现以实现高性能MCMC抽样，从而准确评估有效样本量和运行时间。

实验结果

研究问题

• RQ1 在动态伯努利逻辑斯蒂回归中，Pólya-Gamma数据增强方法与现有MCMC方法相比，在有效样本量和计算时间方面表现如何？
• RQ2 在动态负二项回归中，随着试验次数或平均计数大小的增加，Pólya-Gamma增强方法的性能是否会下降？
• RQ3 在高时间相关性和高维协变量条件下，该方法的可扩展性如何？
• RQ4 Pólya-Gamma方法是否在混合速度和收敛性上优于Metropolis-Hastings或高斯混合方法？
• RQ5 高效Pólya-Gamma抽样对大规模动态离散数据模型中整体MCMC效率有何影响？

主要发现

• 在单次试验的动态伯努利逻辑斯蒂回归中，Pólya-Gamma方法实现了1.30的中位有效样本量比（ESR），优于离散高斯混合方法（dRUM）。
• 在20次试验的动态伯努利逻辑斯蒂回归中，当相关性较高时，Pólya-Gamma方法的ESR仍保持在0.98，表明在较大试验次数下仍具强大性能。
• 在平均计数为10的动态负二项回归中，当协变量相关性较低时，Pólya-Gamma方法的ESR达到1.86，显著优于Frühwirth-Schnatter等人（2009）的方法。
• 当平均计数增加至100时，ESR下降至0.76，表明由于Pólya-Gamma抽样变慢，性能随计数增大而下降。
• Migon等人（2013）提出的Metropolis-Hastings方法整体表现最差，ESR低于0.8，原因是前向滤波中需进行昂贵的非线性求解。
• Pólya-Gamma方法始终实现高于其他方法的有效样本量，表明其在每次迭代中更具效率，尤其在低计数场景下优势显著。