[论文解读] Maximum Likelihood Latent Space Embedding of Logistic Random Dot Product Graphs

Luke J. O’Connor, Muriel Médard+1 more|arXiv (Cornell University)|Oct 3, 2015

Face and Expression Recognition参考文献 30被引用 3

一句话总结

该论文提出了一种用于Logistic随机点积图（Logistic RDPG）潜在空间嵌入的最大似然方法，采用谱方法并引入一种新颖的回归缩放步骤，实现了渐近精确推断。与启发式谱方法相比，该方法在社区检测任务中显著提升了鲁棒性和准确性。

ABSTRACT

A latent space model for a family of random graphs assigns real-valued vectors to nodes of the graph such that edge probabilities are determined by latent positions. Latent space models provide a natural statistical framework for graph visualizing and clustering. A latent space model of particular interest is the Random Dot Product Graph (RDPG), which can be fit using an efficient spectral method; however, this method is based on a heuristic that can fail, even in simple cases. Here, we consider a closely related latent space model, the Logistic RDPG, which uses a logistic link function to map from latent positions to edge likelihoods. Over this model, we show that asymptotically exact maximum likelihood inference of latent position vectors can be achieved using an efficient spectral method. Our method involves computing top eigenvectors of a normalized adjacency matrix and scaling eigenvectors using a regression step. The novel regression scaling step is an essential part of the proposed method. In simulations, we show that our proposed method is more accurate and more robust than common practices. We also show the effectiveness of our approach over standard real networks of the karate club and political blogs.

研究动机与目标

• 为解决启发式谱方法在随机点积图（RDPG）潜在空间嵌入中的失败问题，特别是在将高程度节点与社区分离时的表现不佳。
• 为一种密切相关模型——Logistic RDPG——开发一种基于统计原理的最大似然推断方法，用于潜在位置估计。
• 证明通过一种高效的谱算法结合回归缩放步骤，可实现潜在向量的渐近精确最大似然估计。
• 与标准谱方法和启发式方法相比，提升图聚类和社区检测中的鲁棒性与准确性。

提出的方法

• 提出Logistic RDPG模型，其中边存在的概率通过将潜在向量点积结果经逻辑链接函数建模。
• 使用均值中心化邻接矩阵的前k个特征向量作为潜在位置的初始估计。
• 引入一种新颖的回归缩放步骤，以校正特征向量的缩放，确保与最大似然估计的一致性。
• 应用逻辑回归模型来估计最大化似然的特征值，从而将谱解与真实潜在结构联系起来。
• 采用约束优化框架，在秩和范数约束下最大化对数似然，以恢复潜在向量。
• 理论分析表明，随着网络规模增大，该解能一致收敛至最大似然估计。

实验结果

研究问题

• RQ1 谱方法是否能在Logistic RDPG模型中实现渐近精确的最大似然推断？
• RQ2 与启发式谱方法相比，所提方法在社区检测中如何提升鲁棒性与准确性？
• RQ3 回归缩放步骤在纠正特征向量缩放和提升推断质量方面起到何种作用？
• RQ4 在网络规模不断增加时，该方法是否能保持对真实潜在位置的一致性与收敛性？
• RQ5 与标准方法相比，该方法在真实网络（如空手道俱乐部和政治博客网络）上的表现如何？

主要发现

• 所提方法在Logistic RDPG模型中实现了潜在位置向量的渐近精确最大似然推断。
• 回归缩放步骤对校正特征向量缩放至关重要，确保了与最大似然解的一致性。
• 模拟结果表明，该方法比常见启发式谱方法更准确、更鲁棒，尤其在社区检测方面表现更优。
• 在真实网络（包括空手道俱乐部和政治博客数据集）上，该方法优于标准方法。
• 理论分析证实，随着网络规模增大，所提解与真实最大似然估计之间的对数似然比一致收敛于零。
• 该方法为启发式谱聚类提供了一种统计上合理的替代方案，具备可证明的一致性与收敛性保证。