[论文解读] Bayesian analysis of matrix data with rstiefel

Peter D. Hoff|arXiv (Cornell University)|Apr 12, 2013

Bayesian Methods and Mixture Models参考文献 7被引用 5

一句话总结

本文提出了一种基于 R 包 rstiefel 的矩阵变量子数据分析贝叶斯框架，聚焦于低秩矩阵模型与社交网络建模。该方法利用在 Stiefel 流形上的矩阵变量子 Mises-Fisher 分布与 Bingham 分布，通过 Gibbs 采样实现后验推断，展示了在估计低秩均值矩阵及建模具有潜在同质性效应的青少年友谊网络方面的应用。

ABSTRACT

We illustrate the use of the R-package "rstiefel" for matrix-variate data analysis in the context of two examples. The first example considers estimation of a reduced-rank mean matrix in the presence of normally distributed noise. The second example considers the modeling of a social network of friendships among teenagers. Bayesian estimation for these models requires the ability to simulate from the matrix-variate von Mises-Fisher distributions and the matrix-variate Bingham distributions on the Stiefel manifold.

研究动机与目标

• 开发一种用于分析具有低秩结构的矩阵变量子数据的贝叶斯方法。
• 实现基于 Stiefel 流形的矩阵变量子指数族分布的模拟，特别是 von Mises-Fisher 分布与 Bingham 分布。
• 将该框架应用于实际问题：在正态噪声下估计低秩均值矩阵，并对青少年友谊网络进行建模。
• 提供一个计算流程，使用 Gibbs 采样与共轭先验，实现对潜在因子、奇异值及网络结构的完整后验推断。

提出的方法

• 在 Stiefel 流形 V_{R,m} 上使用矩阵变量子指数族分布，其密度与 exp(tr(C^T U + B U^T A U)) 成比例，其中参数为 A, B, C。
• 采用共轭先验：对奇异值 d_j 使用独立的正态先验，对 σ² 和 τ² 使用伽马先验，对 U 和 V 在 Stiefel 流形上使用均匀先验。
• 通过 Gibbs 采样迭代更新参数：从 Bingham 分布中更新 U，从 MF 分布中更新 V，从正态全条件分布中更新 d_j，从伽马全条件分布中更新 σ²。
• 引入潜变量 Z 以建模二值网络数据，其中 Z ~ 受限正态分布（给定 Y, U, Λ, θ），并通过 rZ_fc 函数执行数据增广步骤。
• 通过在 MCMC 迭代过程中累积 UΛU^T 来实现对 UΛU^T 后验均值的随机近似，随后进行特征分解以估计潜在因子。
• 通过重新参数化确保 B 中对角元素有序，并在 MCMC 方案中通过积分处理 Y 的对角元素（视为未观测）。

实验结果

研究问题

• RQ1 在正态噪声下，如何通过完全贝叶斯方法估计具有低秩结构的矩阵变量子数据？
• RQ2 Stiefel 流形在多变量矩阵模型中对正交因子矩阵建模中起到何种作用？
• RQ3 如何利用矩阵变量子 Bingham 分布与 von Mises-Fisher 分布对社交网络数据中的潜在结构进行建模？
• RQ4 社交网络模型中的潜在因子在多大程度上反映了同质性，如通过健康行为的相似性体现？
• RQ5 能否为涉及 Stiefel 流形上矩阵变量子分布的模型高效构建 Gibbs 采样器？

主要发现

• θ 的后验密度（代表整体网络密度）集中在正值区域，表明友谊形成具有非平凡水平。
• 有序奇异值 (λ₁, λ₂) 的边际后验密度均为正值且与零明显分离，支持采用秩-2 模型。
• 通过 MCMC 累积估计的 UΛU^T 后验均值揭示了潜在空间中节点的清晰聚类，非药物使用、非吸烟学生（绿色圆圈）与其他群体分离。
• 观测到的网络结构与潜在因子估计一致，表明具有相似健康行为特征（吸烟/药物使用）的个体更可能形成友谊。
• Gibbs 采样器在使用朴素初始值时收敛良好，且在 10,000 次迭代后，网络结构的后验均值得到良好近似。
• 该模型成功捕捉了同质性：友谊概率随潜在因子 u_i^T Λ u_j 的相似性增加而上升。