[论文解读] Characterizing Directed and Undirected Networks via Multidimensional Walks with Jumps

Fabrício Murai, Bruno Ribeiro+2 more|arXiv (Cornell University)|Mar 23, 2017

Complex Network Analysis Techniques参考文献 21被引用 4

一句话总结

本文提出了一种基于随机游走的新型方法——定向无偏前沿采样（DUFS），通过使用多个协同工作的游走者并引入随机跳跃来防止陷入陷阱，从而在有向和无向网络中实现采样。DUFS 实时从游走者轨迹构建无向图，并提供一种改进的、最小方差无偏估计器，用于节点标签分布，显著优于现有方法在估计出度分布头部的表现，且在尾部估计上达到或超过现有方法的准确性。

ABSTRACT

Estimating distributions of node characteristics (labels) such as number of connections or citizenship of users in a social network via edge and node sampling is a vital part of the study of complex networks. Due to its low cost, sampling via a random walk (RW) has been proposed as an attractive solution to this task. Most RW methods assume either that the network is undirected or that walkers can traverse edges regardless of their direction. Some RW methods have been designed for directed networks where edges coming into a node are not directly observable. In this work, we propose Directed Unbiased Frontier Sampling (DUFS), a sampling method based on a large number of coordinated walkers, each starting from a node chosen uniformly at random. It is applicable to directed networks with invisible incoming edges because it constructs, in real-time, an undirected graph consistent with the walkers trajectories, and due to the use of random jumps which prevent walkers from being trapped. DUFS generalizes previous RW methods and is suited for undirected networks and to directed networks regardless of in-edges visibility. We also propose an improved estimator of node label distributions that combines information from the initial walker locations with subsequent RW observations. We evaluate DUFS, compare it to other RW methods, investigate the impact of its parameters on estimation accuracy and provide practical guidelines for choosing them. In estimating out-degree distributions, DUFS yields significantly better estimates of the head of the distribution than other methods, while matching or exceeding estimation accuracy of the tail. Last, we show that DUFS outperforms uniform node sampling when estimating distributions of node labels of the top 10% largest degree nodes, even when sampling a node uniformly has the same cost as RW steps.

研究动机与目标

• 解决在有向网络中因不可见的入边而导致标准随机游走无法探索全图的挑战。
• 将现有随机游走采样方法推广至适用于有向和无向网络，包括存在隐藏入边的情况。
• 开发一种结合初始游走者位置与后续游走观测结果的改进型节点标签分布估计器。
• 为优化估计准确性，提供选择 DUFS 参数的实用指导。
• 证明即使单次均匀节点查询的成本等同于一次随机游走步长的成本，DUFS 在估计高阶度节点分布时仍优于均匀节点采样。

提出的方法

• DUFS 使用多个协同工作的随机游走者，每个游走者从均匀随机选择的节点出发。
• 每个游走者执行带有随机跳跃的随机游走，以避免陷入强连通分量。
• 该方法动态地从所有游走者的轨迹中构建无向图，即使在存在不可见入边的有向网络中也能实现无偏采样。
• 它引入一种新估计器，结合初始游走者位置与后续游走观测的信息，利用充分统计量 $ n_i + m_i $。
• 通过 Lehmann-Scheffé 定理，利用 $ n_i + m_i $ 的费希尔-内曼因子分解及完备性，证明该估计器是最小方差无偏估计器（MVUE）。
• 该方法推广了前沿采样（FS）和定向无偏随机游走（DURW），统一了二者在有向和无向网络中的优势。

实验结果

研究问题

• RQ1 能否设计一种基于随机游走的采样方法，使其在不可见入边的有向网络中仍能有效工作？
• RQ2 如何修改随机游走以避免在强连通分量中陷入陷阱，同时保持对节点标签分布的无偏估计？
• RQ3 在该类采样框架中，何种估计器结构能产生节点标签分布的最小方差无偏估计？
• RQ4 采样过程的参数（如游走者数量、跳跃概率）如何影响估计准确性？
• RQ5 当单次均匀节点查询成本等同于一次随机游走步长成本时，DUFS 是否在估计高阶度节点的分布方面仍优于均匀节点采样？

主要发现

• 与其它随机游走方法相比，DUFS 在估计出度分布头部方面表现显著更优。
• 在出度分布尾部的估计上，DUFS 的准确性与现有方法相当或更优。
• 所提出的估计器被证明是最小方差无偏估计器（MVUE），其理论保证基于充分且完备的统计量。
• 即使单次均匀节点查询成本等同于一次随机游走步长成本，DUFS 在估计度数最大的前10%节点的标签分布时，仍优于均匀节点采样。
• 该方法在有向和无向网络中均表现出鲁棒性，并推广了前沿采样（FS）和 DURW 等先前方法。
• 参数敏感性分析为优化估计准确性提供了实用指导，包括游走者数量和跳跃概率的调优。