[论文解读] Efficient model-based clustering with coalescents: Application to multiple outcomes using medical records data

Ricardo Henao, Joseph E. Lucas|arXiv (Cornell University)|Aug 10, 2016

Bayesian Methods and Mixture Models参考文献 14被引用 3

一句话总结

本文提出了一种高效的基于顺序蒙特卡洛的采样方法，用于基于共祖过程的贝叶斯分层聚类，实现了多变量、非独立同分布数据的可扩展建模，计算复杂度为二次方。该方法在使用电子病历联合建模多个相关结果时提升了预测准确性，在小样本数据和真实世界应用中优于贪心算法和标准分层聚类方法。

ABSTRACT

We present a sequential Monte Carlo sampler for coalescent based Bayesian hierarchical clustering. The model is appropriate for multivariate non-\iid data and our approach offers a substantial reduction in computational cost when compared to the original sampler. We also propose a quadratic complexity approximation that in practice shows almost no loss in performance compared to its counterpart. Our formulation leads to a greedy algorithm that exhibits performance improvement over other greedy algorithms, particularly in small data sets. We incorporate the Coalescent into a hierarchical regression model that allows joint modeling of multiple correlated outcomes. The approach does not require {\em a priori} knowledge of either the degree or structure of the correlation and, as a byproduct, generates additional models for a subset of the composite outcomes. We demonstrate the utility of the approach by predicting multiple different types of outcomes using medical records data from a cohort of diabetic patients.

研究动机与目标

• 开发一种适用于多变量、非独立同分布数据的可扩展贝叶斯分层聚类方法，尤其适用于具有复杂相关结构的医疗记录。
• 通过顺序蒙特卡洛采样，将基于共祖过程的聚类计算成本从立方复杂度降低至二次复杂度。
• 在无需先验相关结构知识的前提下，实现多个相关结果的联合建模，提升医疗应用中的预测准确性。
• 改进现有贪心算法和基于MCMC的聚类算法，尤其在小样本数据中性能提升最为显著。

提出的方法

• 使用Kingman的共祖过程作为二叉树结构上的非参数先验，以建模分层聚类。
• 采用一种新颖的提议分布的顺序蒙特卡洛（SMC）采样器，实现二次时间推理而非立方时间。
• 引入一种贪心近似方法，辅以小幅度校正，相比标准贪心算法在小样本数据上表现更优。
• 将共祖先验整合到分层回归模型中，以在电子病历中联合建模多个相关结果。
• 采用基于粒子的推理方案，结合重采样与加权，近似树结构和潜在聚类均值的后验分布。
• 使用平方指数协方差函数建模动作捕捉数据中的时间依赖性，验证结构的合理性。

实验结果

研究问题

• RQ1 能否通过顺序蒙特卡洛采样，高效地将基于共祖过程的贝叶斯聚类扩展至多变量、非独立同分布数据？
• RQ2 所提出的SMC推理方法在计算成本和聚类准确性方面，与现有MCMC和贪心算法相比表现如何？
• RQ3 对多个相关结果进行联合建模在电子病历中能多大程度上提升预测性能？
• RQ4 所提出的贪心校正是否能带来可测量的聚类质量提升，尤其是在小样本数据中？
• RQ5 结合共祖先验的分层回归模型能否在真实世界数据（如动作捕捉或糖尿病患者记录）中恢复出生物学或临床上合理的结构？

主要发现

• 所提出的SMC推理方法实现了二次计算复杂度，相比原始立方复杂度采样器显著降低了运行时间。
• 带校正的贪心算法在ARI评分上优于标准贪心算法和分层聚类，尤其在小样本数据中表现突出，AUC达0.85，高于HC的0.84。
• MPost2（所提出的SMC方法）达到最高AUC（0.86 ± 0.008），且比原始MPost2实现快10倍。
• 在动作捕捉数据中，推断的树结构与解剖学知识高度一致，表现出肢体和头部的明显聚类，合并时间与物理距离相符。
• 该方法在无需先验相关结构知识的情况下，成功建模了糖尿病患者数据中多个相关结果，提升了预测准确性。
• 该方法对迭代次数和粒子数的变化具有鲁棒性，不同运行间树结构保持一致。