[论文解读] Minfer: Inferring Motif Statistics From Sampled Edges

Pinghui Wang, John C. S. Lui+1 more|arXiv (Cornell University)|Feb 24, 2015

Complex Network Analysis Techniques参考文献 35被引用 10

一句话总结

Minfer 是一种新颖的框架，能够从随机采样的 RESampled 图中推断原始图的真实子图统计特性，其中完整拓扑结构未知。通过概率模型和基于费舍尔信息的误差界，Minfer 在大规模网络中准确估计子图浓度，实验表明在 LiveJournal 和 com-DBLP 等真实数据集上具有较低的 NRMSE 和紧密的误差界。

ABSTRACT

Characterizing motif (i.e., locally connected subgraph patterns) statistics is important for understanding complex networks such as online social networks and communication networks. Previous work made the strong assumption that the graph topology of interest is known, and that the dataset either fits into main memory or stored on disks such that it is not expensive to obtain all neighbors of any given node. In practice, researchers have to deal with the situation where the graph topology is unknown, either because the graph is dynamic, or because it is expensive to collect and store all topological and meta information on disk. Hence, what is available to researchers is only a snapshot of the graph generated by sampling edges from the graph at random, which we called a "RESampled graph". Clearly, a RESampled graph's motif statistics may be quite different from the underlying original graph. To solve this challenge, we propose a framework and implement a system called Minfer, which can take the given RESampled graph and accurately infer the underlying graph's motif statistics. We also use Fisher information to bound the error of our estimates. Experiments using large scale datasets show that our method to be accurate.

研究动机与目标

• 为解决在无法获取完整图拓扑结构时估计子图统计特性的挑战，仅依赖于随机采样的 RESampled 图。
• 开发一种方法，从通过随机边采样形成的子图中准确推断原始图的潜在子图频率。
• 利用费舍尔信息推导子图浓度估计的理论误差界。
• 克服先前基于采样方法在估计子图统计时的局限性，这些方法通常假设可访问完整图或具备高效的邻居查询能力。

提出的方法

• 使用基于子图包含概率推导出的随机变换矩阵 P，建立原始图中子图统计与 RESampled 图中子图统计之间的关系。
• 通过求逆变换矩阵 P，从 RESampled 图中观测到的子图计数反推原始图的子图计数。
• 利用费舍尔信息计算子图浓度估计方差的 Cramér-Rao 下界（CRLB），从而实现理论上的误差界。
• 将该方法应用于有向和无向网络中的 3、4 和 5 个节点的连通诱导子图（CISes）。
• 在 LiveJournal、soc-Epinions、com-DBLP 等真实数据集上验证方法，采样率范围为 p = 0.1 至 0.3。
• 使用矩阵求逆和子图枚举方法，计算不同子图类别对应的变换矩阵 P 及其逆矩阵。

实验结果

研究问题

• RQ1 能否从通过随机边采样形成的 RESampled 图中准确推断原始图的子图统计特性？
• RQ2 在缺乏完整图拓扑结构的情况下，如何对子图浓度估计的误差进行理论界定？
• RQ3 采样概率 p 对不同网络类型中子图推断准确率的影响如何？
• RQ4 在已知子图频率的真实网络中，推断出的子图浓度与真实值相比如何？

主要发现

• Minfer 在子图浓度估计中实现了较低的归一化均方根误差（NRMSE），且随着采样概率 p 的增加，NRMSE 降低。
• 对于 5 个节点的无向子图，当 p = 0.3 时，估计的 NRMSE 最低；而对真实频率较小的子图（如第 6、10、13、17 和 18 个子图）NRMSE 最高。
• 原始 Cramér-Rao 下界（RCRLBs）与观测到的均方根误差（RMSEs）非常接近，验证了理论误差界的紧密性。
• 在 LiveJournal 数据集中，当 p = 0.01 时，3 个节点有向子图的 RCRLBs 与 RMSE 几乎无法区分，表明误差界具有高度可靠性。
• 该方法成功估计了 com-DBLP（3.34×10^10）和 ca-GrQc（3.64×10^7）中 5 个节点 CISes 的子图频率，展示了在大规模网络中的可扩展性。
• 矩阵求逆方法在多种子图类别中均实现了高精度推断，包括 3 个节点的有符号子图、4 个节点的无向子图以及 3 个节点的有向子图。