[论文解读] Bayesian learning of joint distributions of objects

Anjishnu Banerjee, Jared S. Murray+1 more|arXiv (Cornell University)|Mar 3, 2013

Bayesian Methods and Mixture Models参考文献 15被引用 9

一句话总结

该论文提出了一种基于无限张量分解（ITF）的贝叶斯非参数模型，用于联合建模混合类型数据的分布，通过建模簇分配的张量积的棒-breaking过程，实现在多种数据类型之间的依赖性聚类。该方法在保持全局依赖性的同时，通过允许灵活的、与对象类型相关的聚类，改进了狄利克雷过程混合模型，且在网络和生物医学数据的模拟与实际应用中均表现出更优性能。

ABSTRACT

There is increasing interest in broad application areas in defining flexible joint models for data having a variety of measurement scales, while also allowing data of complex types, such as functions, images and documents. We consider a general framework for nonparametric Bayes joint modeling through mixture models that incorporate dependence across data types through a joint mixing measure. The mixing measure is assigned a novel infinite tensor factorization (ITF) prior that allows flexible dependence in cluster allocation across data types. The ITF prior is formulated as a tensor product of stick-breaking processes. Focusing on a convenient special case corresponding to a Parafac factorization, we provide basic theory justifying the flexibility of the proposed prior and resulting asymptotic properties. Focusing on ITF mixtures of product kernels, we develop a new Gibbs sampling algorithm for routine implementation relying on slice sampling. The methods are compared with alternative joint mixture models based on Dirichlet processes and related approaches through simulations and real data applications.

研究动机与目标

• 解决传统狄利克雷过程混合模型在联合建模混合类型数据时的局限性，特别是其对单一全局簇索引的依赖。
• 开发一种非参数贝叶斯联合建模框架，允许对连续、分类、功能和图像数据等多样化数据类型实现灵活且依赖的聚类。
• 通过解耦各数据类型的簇分配同时利用共享的随机概率张量保持跨类型依赖，克服过度聚类和数据不平衡问题。
• 通过一种新颖的分块截断后 Gibbs 采样算法，实现无需对无限分量进行有限截断的高效后验计算。
• 在涉及复杂数据的实际应用中，如社会网络意识形态预测和骨关节炎症状建模，证明该方法的优越性。

提出的方法

• 通过棒-breaking过程的张量积构建联合混合测度，以建模多种数据类型之间的依赖簇分配。
• 将无限张量分解（ITF）先验定义为狄利克雷过程的推广，允许在不同数据类型之间实现灵活且非交换的聚类。
• 采用Parafac型分解简化张量结构，以实现理论证明和计算可行性。
• 构建ITF混合产品核模型，其中每类数据通过具有簇特定参数的核函数（如正态、多项式、小波基）进行建模。
• 开发一种基于分块截断后 Gibbs 采样的新吉布斯采样算法，以高效从后验分布中抽样，避免对无限分量进行截断。
• 利用条件共轭性和辅助变量，实现在高维、混合域设置下的常规实现。

实验结果

研究问题

• RQ1 能否在捕捉跨类型复杂依赖关系的同时，联合建模连续、分类、功能和图像等多样化数据类型？
• RQ2 如何在不强制实施全局聚类的前提下，实现不同数据类型之间的簇分配依赖，从而避免过度聚类和数据不平衡问题？
• RQ3 所提出的ITF先验在建模联合分布时，其灵活性和渐近性质的理论依据是什么？
• RQ4 该方法在混合域数据上的预测准确性和聚类恢复能力是否优于标准狄利克雷过程混合模型？
• RQ5 如何在无限维张量模型中实现高效后验计算，而无需对分量进行有限截断？

主要发现

• 在模拟研究中，ITF在情景1中实现了更低的预测误差（1.79 vs. 1.43，DPM对比），并更好地恢复了真实依赖结构，尤其在真实模型包含复杂依赖时表现更优。
• 在情景2中，ITF在检测真实依赖关系方面显著优于DPM（C2的p值：27% vs. 55%，C3的p值：34% vs. 57%），表明其对复杂关系具有更高的敏感性。
• 在骨关节炎倡议（OAI）数据上，ITF在四个保留变量上的预测准确性优于或等同于DPM，相对准确率提升分别为31.21%（P01BL12SXL）和7.94%（V00LEXWHY1）。
• ITF成功揭示了体力活动、病史与膝关节疾病症状之间的临床相关关系，表明其在临床决策支持中的潜在应用价值。
• 该模型在网络数据中表现出鲁棒性，即使连接较弱，也能正确将保守博客分配至红色簇，并通过概率聚类解决了模糊节点（如6、14、22）的歧义。
• 簇分配的后验概率同时反映了图拓扑结构和标签信息，当标签与拓扑结构冲突时，标记点的置信度降低，表明多源数据的有效融合。