[论文解读] A Distributed Force-Directed Algorithm on Giraph: Design and Experiments

Alessio Arleo, Walter Didimo+2 more|arXiv (Cornell University)|Jun 7, 2016

Data Visualization and Analytics参考文献 33被引用 3

一句话总结

本文提出 GiLA，一种基于 Apache Giraph 实现的分布式力导向图布局算法，采用顶点中心的‘像顶点一样思考’（TLAV）范式。该算法在亚马逊 PaaS 上以约 1 美元的成本，实现对最大达一百万条边的大型图的可扩展、低成本可视化，耗时不足 8 分钟，性能优于集中式实现，并通过 LinLog 模型与 K-means 聚类实现了有效的视觉聚类检测。

ABSTRACT

In this paper we study the problem of designing a distributed graph visualization algorithm for large graphs. The algorithm must be simple to implement and the computing infrastructure must not require major hardware or software investments. We design, implement, and experiment a force-directed algorithm in Giraph, a popular open source framework for distributed computing, based on a vertex-centric design paradigm. The algorithm is tested both on real and artificial graphs with up to million edges, by using a rather inexpensive PaaS (Platform as a Service) infrastructure of Amazon. The experiments show the scalability and effectiveness of our technique when compared to a centralized implementation of the same force-directed model. We show that graphs with about one million edges can be drawn in less than 8 minutes, by spending about 1\$ per drawing in the cloud computing infrastructure.

研究动机与目标

• 设计一种适用于大规模图的可扩展、低成本分布式图可视化算法。
• 在 Apache Giraph 中使用 TLAV 范式实现力导向布局算法，以实现高效的分布式执行。
• 利用廉价的云基础设施，在真实与合成图上评估该算法的性能与成本效益。
• 通过适配 LinLog 力模型并应用 K-means 聚类于节点坐标，实现在大规模图中的视觉聚类检测。
• 提供开源代码，以供未来在分布式图可视化研究中复用。

提出的方法

• 该算法基于 Fruchterman-Reingold 力导向模型，通过 Giraph 中的 TLAV 范式实现分布式执行。
• 每个顶点独立计算来自邻居的力，并以顶点为中心的方式迭代更新其位置。
• 力模型扩展以支持 LinLog 能量函数，提升聚类可视化效果。
• 在最终节点坐标上应用 K-means 聚类算法，以检测并着色聚类。
• 实现利用了 Apache Giraph 在 PaaS 云基础设施上的容错与可扩展执行模型。
• 在包含最多一百万条边的真实与合成图上，使用 21 个节点的 Amazon EMR 集群对算法进行了评估。

实验结果

研究问题

• RQ1 能否在基于云的 PaaS 基础设施上，通过顶点中心模型有效且高效地分布化力导向图布局算法？
• RQ2 该分布式算法在大规模图上的性能与成本相较于集中式实现如何？
• RQ3 当与分布式布局和 K-means 聚类结合时，LinLog 力模型在大规模图中对视觉聚类检测的改善程度如何？
• RQ4 该算法在云环境中处理最多一百万条边的图时，其可扩展性与运行成本如何？
• RQ5 基于 TLAV 的设计能否实现线性可扩展性，并在多种图拓扑结构中保持布局质量？

主要发现

• 在 21 个节点的 Amazon EMR 集群上，使用 GiLA 算法对最大达一百万条边的图完成了可视化，耗时不足 8 分钟。
• 此类图的渲染总成本约为每幅图 1 美元，表明在 PaaS 基础设施上实现了低成本运行。
• 该算法在集中式实现上表现出显著的可扩展性与性能提升，尤其在小直径图上更为明显。
• LinLog 力模型与 K-means 聚类结合后，生成了高质量的视觉聚类，测试图中模块度平均为 0.51，连通性平均为 0.57。
• 使用 Calinski-Harabasz 指数自动选择最优聚类数量，且在多种指标下聚类质量始终较高。
• 该实现已公开发布于 http://www.geeksykings.eu/gila/，可供未来研究复用与扩展。