[论文解读] A Scalable Null Model for Directed Graphs Matching All Degree Distributions: In, Out, and Reciprocal

Nurcan Durak, Tamara G. Kolda+2 more|arXiv (Cornell University)|Oct 19, 2012

Complex Network Analysis Techniques参考文献 2被引用 4

一句话总结

本文提出了一种快速互惠定向（FRD）图生成器，这是一种可扩展的有向网络零模型，能够同时匹配入度、出度和互惠度分布。受Chung-Lu模型的启发，该方法仅使用 $O(m)$ 个随机数，可在一分钟内生成包含数百万条边的图，在匹配真实数据集中互惠边数量和度分布方面优于现有模型。

ABSTRACT

Degree distributions are arguably the most important property of real world networks. The classic edge configuration model or Chung-Lu model can generate an undirected graph with any desired degree distribution. This serves as a good null model to compare algorithms or perform experimental studies. Furthermore, there are scalable algorithms that implement these models and they are invaluable in the study of graphs. However, networks in the real-world are often directed, and have a significant proportion of reciprocal edges. A stronger relation exists between two nodes when they each point to one another (reciprocal edge) as compared to when only one points to the other (one-way edge). Despite their importance, reciprocal edges have been disregarded by most directed graph models. We propose a null model for directed graphs inspired by the Chung-Lu model that matches the in-, out-, and reciprocal-degree distributions of the real graphs. Our algorithm is scalable and requires $O(m)$ random numbers to generate a graph with $m$ edges. We perform a series of experiments on real datasets and compare with existing graph models.

研究动机与目标

• 开发一种可扩展的有向图零模型，能够同时匹配三种度分布：入度、出度和互惠度。
• 解决现有有向图模型对互惠边关注不足的问题，尽管互惠边在社交和通信网络中普遍存在且至关重要。
• 设计一种快速高效的算法，生成具有指定度分布的图，同时保持互惠性。
• 为社区检测、模块度及其他网络分析方法提供一个基准模型。

提出的方法

• 通过显式引入互惠边概率，将Chung-Lu模型适配到有向图。
• 采用三步流程：(1) 分配期望的入度和出度，(2) 基于度约束计算互惠边概率，(3) 使用加权伯努利过程采样边。
• 采用随机化边生成策略，确保期望度匹配输入分布，同时保持可扩展性。
• 引入一种修正方法，以提高度为1的顶点计数的准确性，这类顶点在Chung-Lu类模型中常被低估。
• 在 $O(m)$ 时间内生成图，仅需 $O(m)$ 个随机数，从而实现大规模网络的快速生成。
• 引入度校正机制，更好地匹配度为1的节点数量，提升与真实数据的拟合度。

实验结果

研究问题

• RQ1 能否设计一种可扩展的有向图零模型，使其能同时匹配入度、出度和互惠度分布？
• RQ2 为何现有有向图模型无法再现真实网络中观察到的互惠边分布？
• RQ3 FRD模型在匹配度分布方面与Forest Fire和SKG等现实模型相比表现如何？
• RQ4 与标准Chung-Lu变体相比，FRD模型在多大程度上改善了度为1节点的表示？
• RQ5 一种能同时匹配三种度分布的零模型，能否作为社区检测和模块度分析的有意义基线？

主要发现

• FRD模型在所有测试的真实数据集（包括cit-HepPh、soc-Epinions和liveJournal）中，成功匹配了所有三种度分布：入度、出度和互惠度。
• FRD模型生成的互惠边数量与真实网络高度一致：例如，在liveJournal上生成了32,432K条互惠边（原始值为32,434K），偏差仅2K。
• 现有模型如Forest Fire（FF）和Falkenborg-Dalal（FD）模型产生的互惠边可忽略不计（例如0或<100），无法匹配真实网络中的互惠边数量。
• FRD模型在不到一分钟内生成了包含数百万个节点和边的图，其速度优于SKG和FD模型，生成时间分别为liveJournal的41.75秒和59.98秒。
• 与标准Chung-Lu模型相比，FRD模型显著改善了度为1节点的表示，解决了先前工作中已知的局限性。
• 实证比较显示，只有FRD模型能匹配互惠度分布，其他模型即使经过大量调优也完全失败。