[论文解读] Exploration of Large Networks with Covariates via Fast and Universal Latent Space Model Fitting

Zhuang Ma, Zongming Ma|arXiv (Cornell University)|May 5, 2017

Complex Network Analysis Techniques参考文献 53被引用 13

一句话总结

本文提出两种快速、可扩展的算法——核范数惩罚与投影梯度下降——用于在具有边协变量的大规模网络中拟合内积潜在空间模型。这些方法实现了高效的社区检测与网络辅助学习，同时具备可证明的收敛速率，对模型误设具有鲁棒性，适用于现实世界的大规模网络。

ABSTRACT

Latent space models are effective tools for statistical modeling and exploration of network data. These models can effectively model real world network characteristics such as degree heterogeneity, transitivity, homophily, etc. Due to their close connection to generalized linear models, it is also natural to incorporate covariate information in them. The current paper presents two universal fitting algorithms for networks with edge covariates: one based on nuclear norm penalization and the other based on projected gradient descent. Both algorithms are motivated by maximizing likelihood for a special class of inner-product models while working simultaneously for a wide range of different latent space models, such as distance models, which allow latent vectors to affect edge formation in flexible ways. These fitting methods, especially the one based on projected gradient descent, are fast and scalable to large networks. We obtain their rates of convergence for both inner-product models and beyond. The effectiveness of the modeling approach and fitting algorithms is demonstrated on five real world network datasets for different statistical tasks, including community detection with and without edge covariates, and network assisted learning.

研究动机与目标

• 解决在传统MCMC方法计算不可行的大规模网络中拟合潜在空间模型的挑战，这些网络具有边协变量。
• 通过聚焦于内积模型，构建一个统一的框架，适用于多种潜在空间模型，包括距离模型与投影模型。
• 在保持统计一致性与对模型误设的鲁棒性的同时，确保对大规模网络的可扩展性与速度。
• 通过快速、通用的拟合算法，实现实际的网络探索任务，如社区检测与网络辅助学习。

提出的方法

• 提出一类通用的内积潜在空间模型，其中边出现概率依赖于潜在向量与协变量的内积。
• 设计核范数惩罚算法，以在潜在空间中促进低秩结构，从而实现高效的优化与模型选择。
• 开发投影梯度下降算法，通过交替更新潜在向量与回归系数，并利用投影操作确保低秩约束。
• 将优化问题表述为在低秩与非负性约束下最大化类似似然的目标函数，利用矩阵分解技术。
• 引入一种数据依赖的范数‖·‖ₜᵣ以度量估计误差，从而在弱正则性条件下实现收敛性分析。
• 利用矩阵扰动理论与集中不等式，建立两种算法的理论收敛速率，即使在模型误设的情况下也成立。

实验结果

研究问题

• RQ1 我们能否设计一种单一、快速的拟合算法，适用于广泛的潜在空间模型，包括距离模型与投影模型？
• RQ2 如何以保持可解释性与可扩展性的方式，将边协变量整合到潜在空间模型中？
• RQ3 在模型误设条件下，所提算法的理论收敛速率如何？
• RQ4 所提方法能否在大规模真实世界网络上实现准确的社区检测与网络辅助学习？
• RQ5 在大规模网络上，投影梯度下降算法相较于核范数惩罚方法在速度与准确性方面表现如何？

主要发现

• 投影梯度下降算法实现线性收敛速率，收敛因子为(1−ηγₙ)ᵗ，其中η与γₙ为与问题相关的常数，确保快速收敛至真实潜在结构。
• 核范数惩罚方法提供一致的低秩估计，并在弱假设下实现收敛，误差界为O((1−ηγₙ)ᵗ‖x₀−x⋆‖ₜᵣ² + e²ᴹ¹λₙ²k + ‖Ḡₖ‖*²/k + ‖Ḡₖ‖F²)。
• 理论分析表明，即使真实模型无法被内积类完美表示，两种算法仍能保持统计一致性。
• 在五个真实世界数据集上的实证评估表明，该方法在有与无协变量的社区检测任务中均优于标准方法。
• 算法在大规模网络上表现出高效的可扩展性，运行时性能适用于实时网络探索与可视化任务。
• 该框架通过利用潜在结构与边协变量，实现网络辅助学习，从而在下游任务中提升预测准确性。