[论文解读] Generalized linear models with low rank effects for network data

Yun-Jhong Wu, Elizaveta Levina+1 more|arXiv (Cornell University)|May 18, 2017

Complex Network Analysis Techniques参考文献 27被引用 10

一句话总结

本文提出了一种具有低秩效应的广义线性模型，用于网络数据，能够高效估计二值、加权、有向和无向网络中的边概率，同时整合节点和边的协变量。通过使用投影梯度上升算法，该方法在估计一致性与可扩展性方面优于基于MCMC的替代方法，在Last.fm和C. elegans等真实网络中的链接预测任务中表现更优。

ABSTRACT

Networks are a useful representation for data on connections between units of interests, but the observed connections are often noisy and/or include missing values. One common approach to network analysis is to treat the network as a realization from a random graph model, and estimate the underlying edge probability matrix, which is sometimes referred to as network denoising. Here we propose a generalized linear model with low rank effects to model network edges. This model can be applied to various types of networks, including directed and undirected, binary and weighted, and it can naturally utilize additional information such as node and/or edge covariates. We develop an efficient projected gradient ascent algorithm to fit the model, establish asymptotic consistency, and demonstrate empirical performance of the method on both simulated and real networks.

研究动机与目标

• 开发一种灵活且可扩展的网络边预测模型，适用于二值、加权、有向和无向网络。
• 在保持计算效率的前提下，将节点和边的协变量整合到网络建模中。
• 通过一种新颖的优化框架，克服基于MCMC的潜在空间模型在可扩展性方面的局限性。
• 在温和正则性条件下建立渐近一致性，并在模拟和真实网络数据上展示其经验性能。
• 提供一个统一的框架，推广现有潜在空间模型，且无需对称性或正定性要求。

提出的方法

• 该模型使用低秩矩阵结构表示节点之间的成对效应，参数化为两个低维潜在因子矩阵的乘积。
• 将期望边概率表述为广义线性模型（GLM），采用自然连接函数，整合协变量和低秩效应。
• 开发了一种高效的投影梯度上升算法，以在核范数和秩约束下优化对数似然。
• 该算法在更新潜在因子和回归系数之间交替进行，并通过投影到核范数球上以强制实现低秩结构。
• 该方法支持无向和有向网络，并自然扩展至整数加权和二值网络。
• 在温和正则性条件下建立了理论一致性，包括真实低秩矩阵的有界性以及设计矩阵的稀疏性。

实验结果

研究问题

• RQ1 低秩GLM框架能否有效建模多种网络类型——二值、加权、有向和无向网络，同时整合协变量？
• RQ2 所提出的投影梯度上升算法在性能和可扩展性方面与基于MCMC的潜在空间模型相比如何？
• RQ3 低秩效应在多大程度上提升了在Last.fm和C. elegans等真实网络中的链接预测准确性？
• RQ4 估计结果对调优参数（如秩 $ r $ 和核范数约束 $ R $）的敏感性如何？
• RQ5 在不依赖对称性或正定性要求的情况下，该模型能否在一般低秩结构下实现一致估计？

主要发现

• 在C. elegans神经网络中，该模型在秩 $ r = 26 $ 和核范数 $ R = 85 $ 时达到0.824的预测AUC，性能与计算成本高昂的基于MCMC的基准相当。
• 在Last.fm数据集中，$ \widehat{\beta}_{\mathrm{lis}} $ 和 $ \widehat{\beta}_{\mathrm{tag}} $ 均为正，表明存在显著的同质性效应，且在不同 $ r $ 和 $ R $ 值下估计结果稳定。
• 该模型在计算效率方面优于潜在因子模型（amen包），尤其在大规模网络中表现更优，后者在 $ n = 2000 $ 的数据集上未能收敛。
• 当 $ n $ 从200增至2000时，计算成本仅约增加40倍，而潜在因子模型则增加约120倍，凸显其优越的可扩展性。
• 随着 $ R $ 减小，回归系数估计值向零收缩，反映出更紧的核范数约束所引入的偏差。
• 在特定条件下，该方法等价于1比特矩阵补全，但其推广超出了独立同分布缺失假设，使其在真实网络中更具现实意义。