[论文解读] Distribution and Dependence of Extremes in Network Sampling Processes

Konstantin Avrachenkov, Natalia M. Markovich+1 more|arXiv (Cornell University)|Aug 11, 2014

Complex Network Analysis Techniques参考文献 38被引用 12

一句话总结

本文通过在二元帕累托度相关性下推导极值指数（EI），分析了网络采样过程中极端依赖结构——具体为随机游走（RW）、带跳跃的随机游走（RWJ）以及PageRank（PR）——的表现。研究发现，RWJ的EI因跳跃概率和网络平均度而降低；而PR的EI下限为(1−c)，为基于采样的网络推断中的极值行为提供了理论保证。

ABSTRACT

We explore the dependence structure in the sampled sequence of large networks. We consider randomized algorithms to sample the nodes and study extremal properties in any associated stationary sequence of characteristics of interest like node degrees, number of followers or income of the nodes in Online Social Networks etc, which satisfy two mixing conditions. Several useful extremes of the sampled sequence like $k$th largest value, clusters of exceedances over a threshold, first hitting time of a large value etc are investigated. We abstract the dependence and the statistics of extremes into a single parameter that appears in Extreme Value Theory, called extremal index (EI). In this work, we derive this parameter analytically and also estimate it empirically. We propose the use of EI as a parameter to compare different sampling procedures. As a specific example, degree correlations between neighboring nodes are studied in detail with three prominent random walks as sampling techniques.

研究动机与目标

• 使用极值指数（EI）表征网络采样过程中极端度的依赖结构。
• 分析底层网络中的度相关性如何影响随机游走与PageRank采样的极值行为。
• 为带跳跃的随机游走（RWJ）推导极值指数的解析表达式，避免复杂的尾部分布计算。
• 建立一个与度相关性结构无关的PageRank过程中极值指数的下界。

提出的方法

• 使用基于度转移的马尔可夫链对网络采样过程进行建模。
• 采用二元帕累托分布对相邻节点之间的度相关性进行建模。
• 通过网络度分布与均匀跳跃分量的混合，推导RWJ的联合密度与尾部分布。
• 应用混合条件D(un)与D′′(un)以验证极值指数的渐近分析。
• 利用通过条件超出概率定义的EI极限形式，推导RW与RWJ的表达式。
• 应用极值理论中的已知结果与生存函数近似方法，对PageRank的EI进行边界估计。

实验结果

研究问题

• RQ1 带跳跃的随机游走（RWJ）的极值指数如何依赖于网络的平均度与跳跃概率？
• RQ2 在二元帕累托度相关性下，RWJ的极值指数的解析形式是什么？
• RQ3 度相关性的存在如何影响网络采样中极端度的聚集？
• RQ4 能否为PageRank建立一个与底层度相关性无关的极值指数下界？
• RQ5 在马尔可夫采样过程中，度的联合尾部行为与极值指数之间存在何种关系？

主要发现

• RWJ的极值指数为θ = 1 − E[D]/(E[D] + α) × 2^−γ，其中γ为帕累托尾指数，α控制跳跃概率。
• 对于随机游走（RW），极值指数为θ = 1 − 1/(2γ)，当γ = 1时，该值为θ = 1/2。
• RWJ的联合尾部分布是网络度尾部与均匀跳跃分量的凸组合，权重分别为E[D]/(E[D] + α)与α/(E[D] + α)。
• PageRank过程的极值指数下限为(1 − c)，其中c为随机跳转概率，与度相关性无关。
• RWJ的推导通过利用D′′(un)条件与渐近近似，避免了对边缘尾部分布的直接求逆。
• 生存函数¯F_RWJ(un) ≈ τ/n + o(1/n)的渐近行为，使得在重尾度分布下能够推导出EI。