[论文解读] Dependent Multinomial Models Made Easy: Stick Breaking with the Pólya-Gamma Augmentation

Scott W. Linderman, Matthew Johnson+1 more|arXiv (Cornell University)|Jun 18, 2015

Bayesian Methods and Mixture Models参考文献 18被引用 57

一句话总结

本文提出了一种新型的Pólya-gamma增强的杆分解表示法，用于依赖性多项式模型，通过将多项式似然转化为条件共轭的高斯形式，实现了高效的贝叶斯推断。该方法可无缝集成现有高斯过程与线性动态系统工具，适用于文本、DNA及时间序列姓名数据，实现快速、模块化且可扩展的推断。

ABSTRACT

Many practical modeling problems involve discrete data that are best represented as draws from multinomial or categorical distributions. For example, nucleotides in a DNA sequence, children's names in a given state and year, and text documents are all commonly modeled with multinomial distributions. In all of these cases, we expect some form of dependency between the draws: the nucleotide at one position in the DNA strand may depend on the preceding nucleotides, children's names are highly correlated from year to year, and topics in text may be correlated and dynamic. These dependencies are not naturally captured by the typical Dirichlet-multinomial formulation. Here, we leverage a logistic stick-breaking representation and recent innovations in Pólya-gamma augmentation to reformulate the multinomial distribution in terms of latent variables with jointly Gaussian likelihoods, enabling us to take advantage of a host of Bayesian inference techniques for Gaussian models with minimal overhead.

研究动机与目标

• 为解决标准狄利克雷-多项式模型在捕捉多项式参数间复杂依赖关系方面的局限性。
• 开发一个统一且模块化的框架，用于建模相关多项式数据（如文本、DNA序列及时间序列姓名模式），采用连续潜变量结构。
• 通过Pólya-gamma增强将多项式似然转化为条件共轭高斯形式，实现高效、可扩展且可组合的推断。
• 在无需定制推断代码的前提下，促进与现有高性能高斯过程和线性动态系统软件的集成。

提出的方法

• 使用递归杆分解过程表示多项式分布，将概率单纯形分解为一系列二项选择。
• 对杆分解参数的逻辑斯蒂变换应用Pólya-gamma增强，引入辅助变量，使联合后验条件为高斯分布。
• 利用Polson等人（2013）提出的积分恒等式，将多项式似然表示为具有Pólya-gamma分布辅助变量的高斯混合形式。
• 通过使给定辅助变量和超先验时潜变量杆分解变量的条件分布为高斯分布，实现块Gibbs采样。
• 利用条件共轭性，实现对潜变量和辅助变量的高效采样，其中辅助变量在给定状态和观测计数时从Pólya-gamma分布中抽取。
• 通过重用现有的高斯过程与LDS推断流水线，支持对相关主题模型、离散序列的状态空间模型以及含协变量模型的模块化扩展。

实验结果

研究问题

• RQ1 能否将Pólya-gamma增强方案从二项式扩展到多项式似然，以实现在依赖性多项式模型中的高效贝叶斯推断？
• RQ2 如何将多项式分布的杆分解表示与Pólya-gamma增强结合，以实现条件共轭推断？
• RQ3 与pMCMC、HMM或非共轭变分推断等现有方法相比，该方法在具有多项式观测值的模型中，对推断速度和准确性的提升程度如何？
• RQ4 该框架能否在无需专用推断代码的前提下，模块化地扩展至复杂模型，如离散序列的状态空间模型或相关主题模型？

主要发现

• SBM-LDS（杆分解多项式线性动态系统）在文本和DNA序列数据上的预测对数似然表现优于基线LDS与HMM方法，尤其在大词汇量和长序列上优势显著。
• 在《爱丽丝梦游仙境》数据集（1000词词汇量，4000词片段）上，SBM-LDS的预测似然显著高于HMM及其他LDS基线模型。
• SBM-LDS通过Gibbs采样实现的推断速度比类似LNM-LDS的pMCMC方法快几个数量级，原因在于其在潜轨迹上的混合效率更高。
• 该方法在性能上可与优化后的HMM实现相媲美，同时保持与高斯过程和线性动态系统软件栈的完全兼容性。
• Pólya-gamma增强使得对整个杆分解向量的块Gibbs采样成为可能，而以往方法依赖单变量更新，导致收敛更慢、推断效率更低。
• 该框架支持解析边缘化，并可无缝集成至现有高斯过程与LDS推断工具中，实现对含协变量或层次结构模型的模块化扩展。