[论文解读] A unifying representation for a class of dependent random measures

Nicholas J. Foti, Joseph Futoma+2 more|arXiv (Cornell University)|Nov 20, 2012

Bayesian Methods and Mixture Models参考文献 25被引用 9

一句话总结

本文提出了一种基于增强空间上稀释泊松过程的依赖性随机测度统一框架，实现了跨协变量的灵活且保持共轭性的依赖结构。该方法推广了现有模型（如核β过程和空间归一化伽马过程），并在时变主题模型与潜在特征模型中展现出优越的预测性能。

ABSTRACT

We present a general construction for dependent random measures based on thinning Poisson processes on an augmented space. The framework is not restricted to dependent versions of a specific nonparametric model, but can be applied to all models that can be represented using completely random measures. Several existing dependent random measures can be seen as specific cases of this framework. Interesting properties of the resulting measures are derived and the efficacy of the framework is demonstrated by constructing a covariate-dependent latent feature model and topic model that obtain superior predictive performance.

研究动机与目标

• 开发一种通用且灵活的依赖性随机测度构建框架，超越特定非参数过程的限制。
• 通过在增强空间上利用泊松过程稀释，保持依赖模型中的共轭性。
• 将现有依赖性随机测度模型（如核β过程和空间归一化伽马过程）统一于单一理论框架之下。
• 通过协变量依赖的潜在特征模型与主题模型等实际应用，证明该框架的有效性。
• 表明在非参数模型中引入时间或协变量依赖结构可显著提升预测性能，优于交换性模型。

提出的方法

• 在增强空间 $\mathcal{X} \times \Theta \times \mathbb{R}^+$ 上构建泊松过程，其中 $\mathcal{X}$ 为协变量空间，$\Theta$ 为参数空间。
• 定义一个可分解为 $\nu(dx, d\theta, d\pi) = \nu_0(dx) \times \nu_1(d\theta, d\pi)$ 的勒维测度 $\nu(dx, d\theta, d\pi)$，从而实现对协变量与基测度依赖关系的独立控制。
• 对泊松过程应用稀释操作，生成以协变量为索引的依赖性完全随机测度（CRM）。
• 确保所得依赖性CRM继承原始非参数过程的共轭性，从而支持高效的后验更新。
• 利用该框架构建基于伽马过程的时变主题模型（tGaP-PFA）和基于β过程的协变量依赖潜在特征模型。
• 借助CRM的泊松过程表示形式，推导后验条件分布，并通过吉布斯采样或变分方法实现高效推断。

实验结果

研究问题

• RQ1 是否存在一个单一、通用的框架，能够统一贝叶斯非参数模型中多样化的依赖性随机测度构造？
• RQ2 如何在保持共轭性并支持高效推断的前提下，对协变量间的依赖关系进行建模？
• RQ3 在非参数模型中引入协变量依赖结构在多大程度上能提升预测性能？
• RQ4 该框架能否将已知的依赖过程（如核β过程或空间归一化伽马过程）作为特例生成？
• RQ5 基于该框架的动态主题模型在预测准确性和可解释性方面，与静态或平稳替代模型相比表现如何？

主要发现

• tGaP-PFA主题模型的困惑度达到 $528.6 \pm 2.7$，显著优于静态模型（$624.4 \pm 2.0$），并接近更复杂的BNBP模型（$418.1 \pm 0.9$）的性能。
• 与静态模型相比，该动态模型在十年预测中的L1误差降低了约65%（$2.42 \pm 0.02$ vs. $6.86 \pm 0.12$），且准确率提高了4倍（$0.21 \pm 0.01$ vs. $0.05 \pm 0.00$）。
• 该模型成功捕捉了随时间变化的多模态主题激活模式，例如主题1在美国内战等重大冲突期间达到峰值，而主题3在1850年代后逐渐下降，反映出历史趋势。
• 静态模型中学习到的主题数为 $5.4 \pm 0.3$，而动态模型中增至 $62.6 \pm 0.8$，表明其在捕捉时间变化方面具有更高的灵活性。
• 该框架可将现有模型（如核β过程和空间归一化伽马过程）作为特例涵盖，充分体现了其通用性与统一性。
• 由于保持了共轭性并简化了后验更新，推断时间相比现有依赖过程显著减少。