[论文解读] Dimension-Grouped Mixed Membership Models for Multivariate Categorical Data

Yuqi Gu, Elena A. Erosheva+2 more|PubMed|Sep 24, 2021

Bayesian Methods and Mixture Models参考文献 56被引用 9

一句话总结

本文提出维度分组混合成员模型（Gro-M³s），一种用于多元分类数据的新一类潜在结构模型，通过将变量分组为少量维度以提升可解释性与简洁性。通过将模型结构化为概率张量分解，并利用Kruskal定理，作者建立了关于分组结构与模型参数的透明可识别性条件，并开发了一种贝叶斯MCMC算法，在模拟与真实数据应用中成功恢复了这些组件。

ABSTRACT

Mixed Membership Models (MMMs) are a popular family of latent structure models for complex multivariate data. Instead of forcing each subject to belong to a single cluster, MMMs incorporate a vector of subject-specific weights characterizing partial membership across clusters. With this flexibility come challenges in uniquely identifying, estimating, and interpreting the parameters. In this article, we propose a new class of <i>Dimension-Grouped</i> MMMs ( <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> ) for multivariate categorical data, which improve parsimony and interpretability. In <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> , observed variables are partitioned into groups such that the latent membership is constant for variables within a group but can differ across groups. Traditional latent class models are obtained when all variables are in one group, while traditional MMMs are obtained when each variable is in its own group. The new model corresponds to a novel decomposition of probability tensors. Theoretically, we derive transparent identifiability conditions for both the unknown grouping structure and model parameters in general settings. Methodologically, we propose a Bayesian approach for Dirichlet <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> to inferring the variable grouping structure and estimating model parameters. Simulation results demonstrate good computational performance and empirically confirm the identifiability results. We illustrate the new methodology through applications to a functional disability survey dataset and a personality test dataset.

研究动机与目标

• 为解决传统混合成员模型（MMMs）在多元分类数据中缺乏可解释性与可识别性的问题。
• 通过将变量分组为少量潜在维度组，提升模型简洁性，其中成员关系在组内恒定，但在组间变化。
• 建立透明的理论条件，确保从观测数据中唯一识别变量分组结构与模型参数。
• 开发一种计算高效的贝叶斯推断程序，用于Dirichlet Gro-M³s模型，通过Gibbs抽样中的Metropolis-Hastings方法实现后验计算。
• 在真实调查与人格测试数据集上展示模型的经验性能，表明其能准确恢复分组与参数结构。

提出的方法

• 提出一种新型模型结构，将p个观测变量划分为G ≪ p个组，每组内共享潜在成员向量。
• 将联合概率分布建模为结构化张量积，从而支持概率张量分解的视角。
• 利用Kruskal定理对三路张量分解的性质，推导出唯一识别分组矩阵L与条件概率表Λ的充分条件。
• 假设个体特定的混合成员比例服从狄利克雷分布，从而导出Dirichlet Gro-M³模型。
• 开发一种基于Gibbs抽样中Metropolis-Hastings的贝叶斯MCMC算法，联合推断变量分组结构、模型参数与个体成员比例。
• 将该算法应用于功能残疾与人格测试数据集，展示其优异的经验性能与真实结构的恢复能力。

实验结果

研究问题

• RQ1 能否通过将变量划分为少量潜在维度组，使多元分类数据的混合成员模型更具可解释性与简洁性？
• RQ2 在所提出的Gro-M³框架下，变量分组结构与模型参数在何种条件下可识别？
• RQ3 贝叶斯MCMC算法能否有效推断高维分类数据中的分组结构与连续模型参数？
• RQ4 与标准MMMs或张量分解方法相比，所提模型在恢复潜在数据结构方面表现如何？
• RQ5 该模型能否扩展至纵向或非参数设置？在实际应用如调查分析或网络建模中具有何种意义？

主要发现

• 所提出的Gro-M³模型通过将变量分组为少量潜在维度组，实现了更好的可解释性，且组内成员关系保持恒定。
• 通过利用张量分解结构并应用Kruskal定理，建立了透明的理论可识别性条件，确保分组与参数组件的唯一恢复。
• 模拟结果证实，贝叶斯MCMC算法能准确恢复真实的变量分组结构与模型参数，实证验证了可识别性条件的有效性。
• 在真实数据应用中，该模型成功捕捉了功能残疾调查与人格测试数据集中有意义的项目分组，其在恢复项目依赖结构方面优于标准张量分解方法。
• MCMC算法展现出卓越的计算性能，可被视为一种具有保证唯一性（可识别性）的新颖贝叶斯张量分解方法。
• 通过约束分组项目在时间上连续，该模型框架可扩展至纵向设置，且在该类修改下，可识别性结果依然适用。