[论文解读] Divide and Conquer: Partitioning Online Social Networks

Josep M. Pujol, Vijay Erramilli+1 more|ArXiv.org|May 29, 2009

Peer-to-Peer Network Technologies参考文献 21被引用 49

一句话总结

本文提出了一种面向在线社交网络的社区感知分区方案 MO+，通过利用社交社区结构，改善了负载均衡并减少了跨分区通信流量。基于 Twitter 和 Orkut 的真实数据，实验表明，MO+ 在分区数量较高时，相较于随机分区和传统图分区方法（如 METIS），在负载均衡和社交链接保留方面表现更优。

ABSTRACT

Online Social Networks (OSNs) have exploded in terms of scale and scope over the last few years. The unprecedented growth of these networks present challenges in terms of system design and maintenance. One way to cope with this is by partitioning such large networks and assigning these partitions to different machines. However, social networks possess unique properties that make the partitioning problem non-trivial. The main contribution of this paper is to understand different properties of social networks and how these properties can guide the choice of a partitioning algorithm. Using large scale measurements representing real OSNs, we first characterize different properties of social networks, and then we evaluate qualitatively different partitioning methods that cover the design space. We expose different trade-offs involved and understand them in light of properties of social networks. We show that a judicious choice of a partitioning scheme can help improve performance.

研究动机与目标

• 理解社交网络特性（如社区结构、地理局部性及异构流量模式）对分区设计的影响。
• 评估大规模在线社交网络中，最小化跨分区通信与分区间负载均衡之间的权衡。
• 设计并验证一种在保持社交关系的同时减少网络开销并实现负载均衡的分区方案。
• 将传统图分区方法（如 METIS）与基于社区的方法进行比较，并提出一种改进算法（MO+），以解决如分区大小不均等局限性。

提出的方法

• 使用来自 Twitter（1.7B 条消息）和 Orkut 的真实世界数据集，分析网络特性，包括度分布、地理局部性及对话链接。
• 采用 METIS 进行传统图分区，目标是最小化边切割数的同时保持节点数量均衡。
• 应用基于模块度优化的社区检测算法，识别自然社交社区。
• 提出 MO+ 作为后处理增强方法，用于控制社区的数量与大小，确保分区大小相等。
• 使用以下指标评估分区方案：跨分区通信流量（消息数）、分区内消息数、分区内对话（社交链接）数以及峰值负载分布。
• 通过 CCDF 形式分析不同分区数量（8、32、128）下的推文到达率，评估每个分区的最坏情况负载。

实验结果

研究问题

• RQ1 社交网络特性（如社区结构、地理局部性及异构流量模式）如何影响分区算法的设计？
• RQ2 在在线社交网络中，最小化跨分区通信与分区间负载均衡之间存在何种权衡？
• RQ3 与基于社区的分区方法相比，传统图分区方法（如 METIS）在减少通信流量和实现负载均衡方面表现如何？
• RQ4 基于模块度的分区方案结合大小控制（MO+）在保留社交链接和减少网络开销方面，相较于随机分区和标准分区方法能提升多少？
• RQ5 随着分区数量的增加，分区方案的性能如何变化？

主要发现

• MO+ 在减少跨分区通信方面优于 METIS 和随机分区，尤其在分区数量增加时优势更明显。
• 即使在 256 个分区时，MO+ 仍能保留超过 50% 的对话链接（社交关系），表明其对社交结构具有较强的保留能力。
• 在 128 个分区时，MO+ 将每个分区的 99.99% 峰值负载降低至每分钟 35 个请求，优于 GP 的 28 和 Random 的 21，显示出良好的负载均衡性能。
• 每个分区的 99.99% 分位数峰值负载从无分区时的 951 次写入/分钟，降低至使用 MO+ 时 128 个分区下的 28 次请求/分钟，显著减少了资源需求。
• 传统图分区方法（METIS）虽能减少通信流量，但在负载均衡和社交链接保留方面表现不如 MO+。
• 社区感知分区与后处理（MO+）的结合，相比随机或标准分区方法，实现了更好的通信减少与负载均衡之间的权衡。