[論文レビュー] A Distributed Force-Directed Algorithm on Giraph: Design and Experiments

Alessio Arleo, Walter Didimo+2 more|arXiv (Cornell University)|Jun 7, 2016

Data Visualization and Analytics参考文献 33被引用数 3

ひとこと要約

本稿では、Apache Giraph を用いて頂点中心の「頂点として考える」（TLAV）パラダイムを採用した分散型力描画法であるGiLAを提示する。この手法は、100万エッジに達するような大規模グラフを、AmazonのPaaS上で約1ドルのコストで8分未塔でスケーラブルかつ低コストに可視化することに成功し、中央集権的実装を上回る性能を発揮するとともに、LinLogモデルとK-meansクラスタリングを組み合わせることで効果的な視覚的クラスタ検出を可能にする。

ABSTRACT

In this paper we study the problem of designing a distributed graph visualization algorithm for large graphs. The algorithm must be simple to implement and the computing infrastructure must not require major hardware or software investments. We design, implement, and experiment a force-directed algorithm in Giraph, a popular open source framework for distributed computing, based on a vertex-centric design paradigm. The algorithm is tested both on real and artificial graphs with up to million edges, by using a rather inexpensive PaaS (Platform as a Service) infrastructure of Amazon. The experiments show the scalability and effectiveness of our technique when compared to a centralized implementation of the same force-directed model. We show that graphs with about one million edges can be drawn in less than 8 minutes, by spending about 1\$ per drawing in the cloud computing infrastructure.

研究の動機と目的

• 大規模グラフに適したスケーラブルかつ低コストな分散グラフ可視化アルゴリズムの設計。
• Apache Giraphを用いて頂点中心のTLAVパラダイムを用いた力描画法の実装による、効率的な分散実行。
• 安価なクラウドインfraストラクチャを用いて、実際のグラフおよび合成グラフに対してアルゴリズムの性能とコスト効率を評価。
• LinLog力モデルの適応とノード位置へのK-meansクラスタリングの適用により、大規模グラフにおける視覚的クラスタ検出を可能にする。
• 今後の分散グラフ可視化研究における再利用を可能にするオープンソースコードの提供。

提案手法

• アルゴリズムは、分散実行に適応されたFruchterman-Reingold力描画モデルに基づくもので、GiraphにおけるTLAVパラダイムを用いて実装される。
• 各頂点は、自身の隣接頂点からの力を独立に計算し、頂点中心のアプローチで反復的に位置を更新する。
• 力モデルは、より優れたクラスタ可視化を実現するため、LinLogエネルギー関数をサポートするように拡張される。
• 最終的なノード座標に対してK-meansクラスタリングアルゴリズムを適用し、クラスタの検出と色分けが行われる。
• 実装は、PaaSクラウドインfraストラクチャ上で、障害耐性がありスケーラブルな実行モデルを提供するApache Giraphの特徴を活用する。
• 21ノードのAmazon EMRクラスタを用いて、実世界および合成グラフ（最大100万エッジ）に対してアルゴリズムが評価された。

実験結果

リサーチクエスチョン

• RQ1 頂点中心のモデルを用いたクラウドベースのPaaSインfraストラクチャ上での、力描画法の効果的かつ効率的な分散化は可能か？
• RQ2 大規模グラフに対して、分散アルゴリズムの性能とコストは、中央集権的実装と比べてどの程度異なるか？
• RQ3 分散レイアウトとK-meansクラスタリングと組み合わせた場合、LinLog力モデルは大規模グラフにおける視覚的クラスタ検出をどの程度向上させるか？
• RQ4 クラウド環境下で、最大100万エッジのグラフに対して、アルゴリズムのスケーラビリティと実行コストはどの程度か？
• RQ5 TLAVベースの設計は、多様なグラフトポロジにわたり、線形的なスケーラビリティを達成し、レイアウト品質を維持できるか？

主な発見

• 100万エッジに達するグラフが、21ノードのAmazon EMRクラスタ上でGiLAアルゴリズムを用いて8分未塔で正常に可視化された。
• そのようなグラフの描画に要する総コストは、1回の描画あたり約1米ドルであり、PaaSインfraストラクチャ上での低コスト運用を実証した。
• 特に直径が小さいグラフにおいて、中央集権的実装と比較して、強力なスケーラビリティと性能向上を示した。
• LinLog力モデルとK-meansクラスタリングを組み合わせることで、高品質な視覚的クラスタが得られ、テストされたグラフ全体でモジュラリティの平均は0.51、コンダクタンスの平均は0.57を記録した。
• 最適なクラスタ数の自動選択にはCalinski-Harabasz指数が用いられ、複数の指標において一貫して高いクラスタリング品質が得られた。
• 実装コードは http://www.geeksykings.eu/gila/ にて公開され、今後の研究における再利用および拡張が可能となった。