[论文解读] Generalized Polya Urn for Time-varying Dirichlet Process Mixtures

François Caron, Manuel Davy+1 more|arXiv (Cornell University)|Jun 20, 2012

Bayesian Methods and Mixture Models参考文献 19被引用 89

一句话总结

本文提出一种基于广义 Pólya 窨井方案的时变狄利克雷过程混合模型，以捕捉随时间演变的数据分布。该方法确保在每个时间步，底层分布仍为狄利克雷过程混合，通过马尔可夫链蒙特卡洛（MCMC）和序贯蒙特卡洛（SMC）推理，在动态环境中实现灵活的非参数聚类与密度估计，并在真实世界应用中取得成功。

ABSTRACT

Dirichlet Process Mixtures (DPMs) are a popular class of statistical models to perform density estimation and clustering. However, when the data available have a distribution evolving over time, such models are inadequate. We introduce here a class of time-varying DPMs which ensures that at each time step the random distribution follows a DPM model. Our model relies on an intuitive and simple generalized Polya urn scheme. Inference is performed using Markov chain Monte Carlo and Sequential Monte Carlo. We demonstrate our model on various applications.

研究动机与目标

• 解决标准狄利克雷过程混合模型在建模时变数据分布方面的局限性。
• 开发一种非参数贝叶斯模型，确保在每个时间点保持 DPM 结构的同时，允许随时间演变。
• 为时变混合模型提供计算上可行的推理框架。
• 实现在非平稳数据环境中的灵活、自适应聚类与密度估计。

提出的方法

• 提出一种广义 Pólya 窨井方案，用于建模跨时间步的聚类分配演变。
• 定义一种时变中国餐馆过程（CRP），其中顾客分配依赖于当前和过去的聚类配置。
• 使用截断棒破除构造方法，定义时间相关的棒破除过程，以确保每个时间点的分布均为有效的 DPM。
• 采用时间相关的浓度参数，以控制随时间变化的聚类期望数量。
• 应用马尔可夫链蒙特卡洛（MCMC）和序贯蒙特卡洛（SMC）方法进行后验推理。
• 引入一种预测分布，以考虑聚类分配和权重中的时间依赖性。

实验结果

研究问题

• RQ1 如何将狄利克雷过程混合模型扩展以处理时变数据分布，同时在每个时间点保持其非参数性质？
• RQ2 何种生成过程能够在贝叶斯非参数框架中实现聚类结构的时间演变？
• RQ3 如何在具有时间依赖聚类分配的时变 DPM 中实现高效推理？
• RQ4 所提出的模型在真实世界动态聚类与密度估计任务中的实证性能特征如何？

主要发现

• 所提出的模型成功捕捉了随时间演变的数据分布，同时在每个时间点保持了 DPM 结构。
• 广义 Pólya 窨井方案实现了对聚类分配时间依赖性的直观且可处理的建模。
• MCMC 和 SMC 推理方法为时变混合模型提供了稳定且准确的后验近似。
• 在多种应用中的实证结果表明，与静态 DPM 相比，该模型在非平稳数据上的聚类与密度估计性能有所提升。
• 该模型能动态适应聚类结构的变化，例如随时间出现或消失的聚类。
• 使用时间相关的浓度参数可灵活控制随时间变化的活跃聚类数量。