[论文解读] Beyond Random Walk and Metropolis-Hastings Samplers: Why You Should Not Backtrack for Unbiased Graph Sampling

Chul‐Ho Lee, Xin Xu+1 more|arXiv (Cornell University)|Apr 18, 2012

Complex Network Analysis Techniques参考文献 29被引用 14

一句话总结

本文提出非回溯随机游走重加权（NBRW-rw）与延迟接受的梅特罗波利斯-黑斯廷斯算法（MHDA），通过消除回溯转移提升采样效率，同时保持节点采样的无偏性。两种方法在理论上和实证上均证明其渐近方差小于SRW-rw与MH算法，分别实现更优的采样效率。

ABSTRACT

Graph sampling via crawling has been actively considered as a generic and important tool for collecting uniform node samples so as to consistently estimate and uncover various characteristics of complex networks. The so-called simple random walk with re-weighting (SRW-rw) and Metropolis-Hastings (MH) algorithm have been popular in the literature for such unbiased graph sampling. However, an unavoidable downside of their core random walks -- slow diffusion over the space, can cause poor estimation accuracy. In this paper, we propose non-backtracking random walk with re-weighting (NBRW-rw) and MH algorithm with delayed acceptance (MHDA) which are theoretically guaranteed to achieve, at almost no additional cost, not only unbiased graph sampling but also higher efficiency (smaller asymptotic variance of the resulting unbiased estimators) than the SRW-rw and the MH algorithm, respectively. In particular, a remarkable feature of the MHDA is its applicability for any non-uniform node sampling like the MH algorithm, but ensuring better sampling efficiency than the MH algorithm. We also provide simulation results to confirm our theoretical findings.

研究动机与目标

• 解决传统基于随机游走的图采样方法中因回溯导致的混合缓慢与估计精度差的问题。
• 提升采样效率——具体而言，降低渐近方差——同时不损害节点采样的无偏性。
• 开发一种通用方法，适用于任意目标平稳分布，而不仅限于均匀采样。
• 确保相较于现有SRW-rw与MH算法，新方法在理论上有更优效率保证，同时保持在分布式环境中的可实现性。
• 证明避免回溯转移可提升估计精度，且不引入偏差。

提出的方法

• 提出非回溯随机游走重加权（NBRW-rw），通过修改简单随机游走以避免返回前一节点，同时使用重加权校正非均匀平稳分布。
• 提出MHDA（延迟接受的梅特罗波利斯-黑斯廷斯算法），一种非可逆的MH算法变体，避免回溯同时保持目标平稳分布。
• MHDA采用两阶段接受机制：首先基于非可逆转移核提出移动；其次应用延迟接受以确保细致平衡并校正平稳分布。
• 理论分析表明，由于减少了随机游走相关性，NBRW-rw与MHDA的渐近方差均小于其可逆对应方法（即SRW-rw与MH）。
• 所提方法设计确保平稳分布不变（例如，无偏采样时为均匀分布），从而保证估计正确性。
• MHDA框架具有通用性，可应用于任意期望的平稳分布，不限于均匀采样，因此在图采样之外也具有广泛适用性。

实验结果

研究问题

• RQ1 在随机游走中避免回溯转移是否可在不引入节点采样偏差的前提下提升采样效率？
• RQ2 通过非回溯行为将可逆马尔可夫链（如SRW或MHRW）转化为非可逆形式，是否可降低估计器的渐近方差？
• RQ3 能否通过延迟接受机制增强MH算法，以在保持相同平稳分布的前提下提升采样效率？
• RQ4 在度分布等网络属性估计方面，NBRW-rw与MHDA相较于SRW-rw与MH的性能表现如何？
• RQ5 当随机游走未从平稳分布开始时，效率提升是否依然成立？

主要发现

• NBRW-rw的渐近方差小于SRW-rw，从而更准确地估计度分布等网络属性。
• MHDA通过降低渐近方差，改进了标准MH算法，从而提升任意目标平稳分布下的采样效率。
• 在Road-PA与Web-Google图上的仿真结果表明，NBRW-rw与MHDA在各类网络属性上的归一化均方根误差（NRMSE）均持续优于SRW-rw与MH。
• 在度分布估计方面，改进尤为显著，NBRW-rw与SRW-rw、MHDA与MHRW的NRMSE比值始终大于1（表明性能更优）。
• 即使随机游走未从平稳分布开始，所提方法仍保持有效性，表明对初始化具有鲁棒性。
• MHDA框架具有通用性，可应用于任意非均匀采样目标，而不仅限于均匀采样，因此具有超越本文范围的广泛适用性。