[论文解读] A statistical interpretation of spectral embedding: the generalised random dot product graph

Patrick Rubin‐Delanchy, Joshua Cape+2 more|arXiv (Cornell University)|Sep 16, 2017

Complex Network Analysis Techniques被引用 12

一句话总结

本文提出了广义随机点积图（GRDPG）模型，这是一种统计模型，将随机点积图扩展至允许异配连接和负特征值，从而通过谱嵌入实现一致且渐近正态的潜在位置估计。GRDPG为谱嵌入提供了严谨的统计解释，支持超越标准随机块模型的更丰富的网络结构。

ABSTRACT

Spectral embedding is a procedure which can be used to obtain vector representations of the nodes of a graph. This paper proposes a generalisation of the latent position network model known as the random dot product graph, to allow interpretation of those vector representations as latent position estimates. The generalisation is needed to model heterophilic connectivity (e.g., `opposites attract') and to cope with negative eigenvalues more generally. We show that, whether the adjacency or normalised Laplacian matrix is used, spectral embedding produces uniformly consistent latent position estimates with asymptotically Gaussian error (up to identifiability). The standard and mixed membership stochastic block models are special cases in which the latent positions take only $K$ distinct vector values, representing communities, or live in the $(K-1)$-simplex with those vertices, respectively. Under the stochastic block model, our theory suggests spectral clustering using a Gaussian mixture model (rather than $K$-means) and, under mixed membership, fitting the minimum volume enclosing simplex, existing recommendations previously only supported under non-negative-definite assumptions. Empirical improvements in link prediction (over the random dot product graph), and the potential to uncover richer latent structure (than posited under the standard or mixed membership stochastic block models) are demonstrated in a cyber-security example.

研究动机与目标

• 解决随机点积图在建模异配连接和负特征值方面的局限性。
• 为谱嵌入提供一种独立于聚类的潜在位置估计程序的统计解释。
• 将随机块模型和混合成员模型推广至允许非正定连接结构。
• 在网络分析中支持更准确、更严谨的推断，特别是在具有复杂潜在结构的网络安全部署中。
• 证明在GRDPG框架下，谱嵌入可产生一致的潜在位置估计，且误差渐近正态。

提出的方法

• 提出广义随机点积图（GRDPG）作为允许不定内积和负特征值的潜在位置网络模型。
• 通过邻接矩阵或归一化拉普拉斯矩阵的谱嵌入，获得节点的d维向量表示。
• 应用特征值缩放以提取主特征向量，实现潜在位置的一致估计。
• 在GRDPG模型下建立潜在位置估计的一致性和渐近正态性理论。
• 将该框架应用于真实网络数据，包括网络安全部署中的图数据，结合谱嵌入与高斯混合模型或t-SNE可视化。
• 使用嵌入向量之间的内积（或不定内积）作为边概率估计，用于链接预测。

实验结果

研究问题

• RQ1 谱嵌入是否可在比标准随机点积图更一般的随机图模型下，被解释为一致的潜在位置估计程序？
• RQ2 GRDPG模型如何处理非同质连接模式，如‘异性相吸’或核心-外围结构？
• RQ3 在GRDPG模型下，谱嵌入的渐近分布是什么？是否支持一致估计？
• RQ4 GRDPG模型能否揭示比标准或混合成员随机块模型更丰富的潜在网络结构？
• RQ5 与标准随机点积图相比，GRDPG是否能提升链接预测性能？

主要发现

• 在GRDPG模型下，谱嵌入产生一致的潜在位置估计，误差渐近正态，仅受限于可识别性。
• GRDPG模型支持同质与异配连接，包括负特征值情形，而标准随机点积图无法建模此类情况。
• 在随机块模型下，GRDPG为使用高斯混合模型替代K均值进行谱聚类提供了理论依据，尤其在社区不明显分离时更优。
• 在混合成员模型中，GRDPG支持拟合最小体积包围单形，扩展了以往仅基于非负定假设的建议。
• 在网络安全网络上的实证结果表明，基于GRDPG的嵌入揭示了与端口活动相关的潜在结构，其几何复杂性超过标准随机块模型的预测。
• 与标准随机点积图相比，GRDPG嵌入在链接预测性能上表现更优，尤其在具有复杂非同质连接模式的网络中。