[论文解读] Fast and Scalable Analysis of Massive Social Graphs

Xiaohan Zhao, Alessandra Sala+2 more|arXiv (Cornell University)|Jul 26, 2011

Complex Network Analysis Techniques参考文献 32被引用 12

一句话总结

该论文提出 Rigel，一种双曲图坐标系统，可在大规模社交图中实现节点距离和最短路径的快速、可扩展且精确的近似。通过将图嵌入双曲空间并并行化预处理阶段，Rigel 在数十微秒内响应距离查询，并将最短路径计算速度提升至比以往系统快 18 倍，同时保持相当的准确性。

ABSTRACT

Graph analysis is a critical component of applications such as online social networks, protein interactions in biological networks, and Internet traffic analysis. The arrival of massive graphs with hundreds of millions of nodes, e.g. social graphs, presents a unique challenge to graph analysis applications. Most of these applications rely on computing distances between node pairs, which for large graphs can take minutes to compute using traditional algorithms such as breadth-first-search (BFS). In this paper, we study ways to enable scalable graph processing on today's massive graphs. We explore the design space of graph coordinate systems, a new approach that accurately approximates node distances in constant time by embedding graphs into coordinate spaces. We show that a hyperbolic embedding produces relatively low distortion error, and propose Rigel, a hyperbolic graph coordinate system that lends itself to efficient parallelization across a compute cluster. Rigel produces significantly more accurate results than prior systems, and is naturally parallelizable across compute clusters, allowing it to provide accurate results for graphs up to 43 million nodes. Finally, we show that Rigel's functionality can be easily extended to locate (near-) shortest paths between node pairs. After a one- time preprocessing cost, Rigel answers node-distance queries in 10's of microseconds, and also produces shortest path results up to 18 times faster than prior shortest-path systems with similar levels of accuracy.

研究动机与目标

• 解决传统图算法（如 BFS 和 Dijkstra）在包含最多 4300 万个节点的大规模图中面临的可扩展性瓶颈。
• 在先前工作（如 Orion）存在 15–20% 错误率的基础上，进一步提升图坐标系统的准确性。
• 实现高效、可并行化的预处理，以支持在商品集群上的实际部署。
• 将基于坐标的系统扩展至不仅支持距离近似，还支持精确最短路径恢复。
• 在大规模图上实现低延迟查询性能（数十微秒），支持距离和路径查询。

提出的方法

• 将大规模社交图嵌入双曲空间，以最小化距离失真，利用双曲几何的曲率特性更好地近似图距离。
• 设计一种可分布、可并行化的图嵌入算法，实现跨计算集群的可扩展性，显著缩短包含数百万个节点的图的预处理时间。
• 利用生成的双曲坐标在常数时间内近似节点间距离，实现亚毫秒级查询响应。
• 开发 Rigel Paths，一种新颖算法，利用 Rigel 的距离估计高效定位并重构节点对之间的实际最短路径。
• 集成混合查询策略：使用 Rigel 的距离估计引导路径重构，确保高精度的同时保持低延迟。
• 在真实社交图（如 Facebook、Flickr、Renren）上实现并评估该系统，以验证其在多样化图拓扑结构下的性能与准确性。

实验结果

研究问题

• RQ1 与欧几里得空间相比，双曲空间是否能在大规模社交图中提供更低的图距离近似失真？
• RQ2 如何有效并行化计算开销巨大的图嵌入过程，以实现对最多 4300 万个节点的图的可扩展性？
• RQ3 图坐标在多大程度上可用于恢复精确最短路径？与现有的基于草图或地标点的路径查找方法相比表现如何？
• RQ4 在基于坐标的系统中，预处理成本与查询延迟之间的权衡是什么？是否能实现亚毫秒级查询性能？
• RQ5 坐标系统是否既能高度准确，又足够高效，以支持生产规模社交网络中的实时图分析？

主要发现

• 与 Orion 等先前系统相比，Rigel 通过双曲嵌入显著降低了距离失真，将错误率从 15–20% 降低至极低水平。
• 该系统可扩展至包含最多 4300 万个节点和超过 10 亿条边的图，证明了其在真实世界社交网络数据集上的实际可行性。
• Rigel 在 10–100 微秒内响应节点距离查询，即使在大规模图上也能实现亚毫秒级响应时间。
• Rigel Paths 对大多数节点对计算出精确最短路径，绝对误差低于 0.3 跳，精度优于基于草图的方法。
• Rigel Paths 的查询响应速度比最先进的系统（如 TreeSketch 和 SketchCESC）快达 18 倍，同时保持相当或更优的准确性。
• Rigel 的预处理阶段可分布到多台机器上，实现接近线性的加速，当并行化后，总处理时间可与单服务器基于草图的系统持平或更优。