[论文解读] A Bayesian Approach to Restricted Latent Class Models for Scientifically-Structured Clustering of Multivariate Binary Outcomes

Zhenke Wu, Livia Casciola‐Rosen+2 more|arXiv (Cornell University)|Aug 24, 2018

Bayesian Methods and Mixture Models参考文献 36被引用 6

一句话总结

该论文提出了一种贝叶斯受限隐类模型（RLCM），用于在科学约束下对多变量二值数据进行聚类，通过设计矩阵 Γ 编码关于哪些特征定义隐类的先验知识。该方法同时估计聚类数量、隐类模式以及测量误差率，通过信息充分的先验强制稀疏性和科学合理性，从而在自身免疫抗体检测和疾病病因学研究等应用中提升准确性和可解释性。

ABSTRACT

In this paper, we propose a general framework for combining evidence of varying quality to estimate underlying binary latent variables in the presence of restrictions imposed to respect the scientific context. The resulting algorithms cluster the multivariate binary data in a manner partly guided by prior knowledge. The primary model assumptions are that 1) subjects belong to classes defined by unobserved binary states, such as the true presence or absence of pathogens in epidemiology, or of antibodies in medicine, or the "ability" to correctly answer test questions in psychology, 2) a binary design matrix $Γ$ specifies relevant features in each class, and 3) measurements are independent given the latent class but can have different error rates. Conditions ensuring parameter identifiability from the likelihood function are discussed and inform the design of a novel posterior inference algorithm that simultaneously estimates the number of clusters, design matrix $Γ$, and model parameters. In finite samples and dimensions, we propose prior assumptions so that the posterior distribution of the number of clusters and the patterns of latent states tend to concentrate on smaller values and sparser patterns, respectively. The model readily extends to studies where some subjects' latent classes are known or important prior knowledge about differential measurement accuracy is available from external sources. The methods are illustrated with an analysis of protein data to detect clusters representing auto-antibody classes among scleroderma patients.

研究动机与目标

• 开发一种尊重多变量二值数据中科学约束的聚类框架，例如特征与潜在状态之间的已知生物学或诊断关系。
• 在聚类数量和相关特征结构未知的情况下，估计隐类成员关系和测量误差率。
• 通过使用限制性设计矩阵 Γ 定义每个隐类中相关特征的结构，结合信息先验，同时估计聚类数量、相关特征结构和测量误差率，以提升聚类的准确性和可解释性。
• 采用完整的贝叶斯后验推断方法，实现聚类估计和个体隐状态预测的不确定性量化。

提出的方法

• 该模型假设受试者属于由 M 个特征子集定义的未观测到的二值隐类，通过二值设计矩阵 Γ 指定每个类中相关的特征。
• 采用有限混合模型，并在类比例上使用狄利克雷先验，同时采用偏好稀疏隐类结构的先验。
• 提出一种新颖的 MCMC 算法，通过迭代更新聚类分配、Γ 和模型参数进行后验推断，且通过约束确保可识别性。
• 该方法考虑了各特征的差异性测量误差率，并允许部分受试者具有已知的隐类成员身份。
• 先验设计偏好更少的聚类数和更稀疏的特征模式，以促进模型的简洁性与可解释性。
• 该框架可扩展至已知外部来源测量精度或部分观测到隐状态的情境。

实验结果

研究问题

• RQ1 如何通过整合关于哪些特征定义隐类的科学知识，提升多变量二值数据聚类的准确性？
• RQ2 通过设计矩阵 Γ 限制特征-类关系对聚类估计和不确定性量化有何影响？
• RQ3 如何在贝叶斯框架下同时估计隐类数量、各聚类的相关特征结构以及测量误差率？
• RQ4 与标准隐类模型相比，该方法在聚类恢复能力和可解释性方面有何优势？
• RQ5 如何将关于测量误差或已知隐类成员身份的先验知识整合到聚类过程中？

主要发现

• 贝叶斯 RLCM 在未知聚类数量的情况下成功对多变量二值数据进行聚类，且通过设计矩阵 Γ 强制实现科学合理性。
• 与标准隐类模型和层次聚类相比，该方法在仅少数特征定义每个隐类时显著提升了聚类准确性。
• 后验推断偏好更少的聚类数和更稀疏的设计矩阵模式，与科学预期中有限且具有生物学意义的特征集合一致。
• 模型有效处理了各特征间差异性测量误差率，已在系统性硬化症自身抗体研究的模拟和真实数据中得到验证。
• 该方法可实现对个体的准确隐状态预测，例如自身免疫复合物或病原体感染的存在。
• R 包 'rewind' 实现了该方法，可供公众在生物医学和心理测量应用中使用。