[论文解读] Metric recovery from directed unweighted graphs

Tatsunori Hashimoto, Yi Sun+1 more|arXiv (Cornell University)|Nov 20, 2014

Markov Chains and Monte Carlo Methods参考文献 2被引用 6

一句话总结

本文提出一种方法，通过随机游走动力学从有向、无权几何图中恢复底层的欧几里得度量和密度。当顶点度数超过 ω(n²/(2+d) log(n)ᵈ/(ᵈ+²)) 时，证明了在等距缩放下一致地恢复度量和密度是可能的，该方法利用类似于 PageRank 的基于随机游走的估计器，自然地趋向于高密度区域。

ABSTRACT

We analyze directed, unweighted graphs obtained from $x_i\in \mathbb{R}^d$ by connecting vertex $i$ to $j$ iff $|x_i - x_j| < ε(x_i)$. Examples of such graphs include $k$-nearest neighbor graphs, where $ε(x_i)$ varies from point to point, and, arguably, many real world graphs such as co-purchasing graphs. We ask whether we can recover the underlying Euclidean metric $ε(x_i)$ and the associated density $p(x_i)$ given only the directed graph and $d$. We show that consistent recovery is possible up to isometric scaling when the vertex degree is at least $ω(n^{2/(2+d)}\log(n)^{d/(d+2)})$. Our estimator is based on a careful characterization of a random walk over the directed graph and the associated continuum limit. As an algorithm, it resembles the PageRank centrality metric. We demonstrate empirically that the estimator performs well on simulated examples as well as on real-world co-purchasing graphs even with a small number of points and degree scaling as low as $\log(n)$.

研究动机与目标

• 当仅观察到图结构和维度 d 时，从有向、无权几何图中恢复底层欧几里得度量和密度。
• 建立理论条件，以确定在何种情况下可从此类图中一致地恢复度量和密度。
• 基于随机游走平稳分布开发一种实用估计器，以捕捉局部尺度 ε(x) 和密度 p(x)。
• 在合成数据和真实世界共购网络（如 Amazon）上展示该方法的有效性。
• 证明该估计器在高维和非均匀密度设置下优于先前方法。

提出的方法

• 该方法将图建模为有向邻域图，其中当 |xᵢ − xⱼ| < ε(xᵢ) 时存在从 i 到 j 的边，且 ε(xᵢ) 随点而变。
• 使用图上简单随机游走的平稳分布作为底层密度 p(x) 的代理，利用其自然趋向于高密度区域的特性。
• 关键洞见是平稳分布 π(x) 与 p(x)/ε(x) 成正比，从而可反演以恢复 p(x) 和 ε(x)，仅在缩放意义下成立。
• 估计器源自随机游走的连续极限，将漂移系数和扩散系数与 p(x) 和 ε(x) 关联起来。
• 该方法可推广至 k-近邻图和环形连接规则，适用于真实世界中的非对称相似度图。
• 对于度量恢复，该方法在恢复的距离上应用多维缩放，以可视化数据的结构组织。

实验结果

研究问题

• RQ1 当仅观察到图和维度 d 时，能否从有向、无权几何图中一致地恢复底层欧几里得度量和密度？
• RQ2 此类图中一致恢复度量和密度所需的最小顶点度数是多少？
• RQ3 此类图上随机游走的平稳分布与底层密度和局部尺度之间有何关系？
• RQ4 所提出的估计器是否在高维和真实世界网络中优于现有方法（如 von Luxburg-Alamgir 的路径积分方法）？
• RQ5 该方法是否成功恢复了真实世界网络（如 Amazon 共购图）中的有意义结构？

主要发现

• 当顶点度数超过 ω(n²/(2+d) log(n)ᵈ/(ᵈ+²)) 时，可在等距缩放下一致地恢复度量和密度。
• 基于随机游走的估计器即使在模拟中仅需 log(n) 度数也迅速收敛至真实度量，表明理论界可能偏松。
• 在高维和真实世界数据中，该方法优于 von Luxburg-Alamgir 估计器，尤其在捕捉密度和相似性结构方面表现更优。
• 在 Amazon 共购图上，估计的密度与销量排名强相关，而传统的中心性度量（如中间度和接近度）则无此关联。
• 对恢复距离进行多维缩放后，可清晰区分产品类别，且由局部密度模态形成一致的聚类。
• 该方法成功将典型产品（如畅销品）识别为局部密度模态，暗示度量聚类与社区检测之间存在关联。