[論文レビュー] Divide and Conquer: Partitioning Online Social Networks

Josep M. Pujol, Vijay Erramilli+1 more|ArXiv.org|May 29, 2009

Peer-to-Peer Network Technologies参考文献 21被引用数 49

ひとこと要約

本稿では、オンライン・ソーシャル・ネットワーク向けに、コミュニティ構造を活用することで負荷分散を向上させるとともに、パーティション間トラフィックを低減するコミュニティ認識型パーティショニング方式MO+を提案する。TwitterおよびOrkutの実データを用いた実験により、MO+がランダムおよび従来のグラフパーティショニング（例：METIS）を上回ることを示し、特にパーティション数が多い状況下でもトラフィックのバランスが良く、ソーシャルリンクの保持が優れている。

ABSTRACT

Online Social Networks (OSNs) have exploded in terms of scale and scope over the last few years. The unprecedented growth of these networks present challenges in terms of system design and maintenance. One way to cope with this is by partitioning such large networks and assigning these partitions to different machines. However, social networks possess unique properties that make the partitioning problem non-trivial. The main contribution of this paper is to understand different properties of social networks and how these properties can guide the choice of a partitioning algorithm. Using large scale measurements representing real OSNs, we first characterize different properties of social networks, and then we evaluate qualitatively different partitioning methods that cover the design space. We expose different trade-offs involved and understand them in light of properties of social networks. We show that a judicious choice of a partitioning scheme can help improve performance.

研究の動機と目的

• コミュニティ構造、地理的局所性、非均一なトラフィックパターンといったソーシャルネットワークの特性がパーティショニング設計に与える影響を理解すること。
• 大規模OSNにおけるパーティション間通信の最小化とパーティション間の負荷バランスの両立のためのトレードオフを評価すること。
• 負荷をバランスさせつつ、ソーシャル関係を保持し、ネットワークオーバーヘッドを低減するパーティショニング方式の設計と検証を行うこと。
• 従来のグラフパーティショニング（例：METIS）とコミュニティベースの手法を比較し、不均一なパーティションサイズなどの限界を克服するための強化されたアルゴリズム（MO+）を提案すること。

提案手法

• Twitter（17億件のメッセージ）およびOrkutの実世界データセットを用い、次数分布、地理的局所性、会話リンクなどのネットワーク特性を特徴づける。
• ノード数のバランスを保ちながらエッジカットを最小化する基準に基づき、METISを用いて従来のグラフパーティショニングを実施する。
• モジュラリティ最適化に基づくコミュニティ検出アルゴリズムを用い、自然なソーシャルコミュニティを同定する。
• コミュニティの数とサイズを制御するための後処理として、MO+を提案し、等サイズのパーティションを保証する。
• パーティション間トラフィック（メッセージ数）、パーティション内メッセージ数、パーティション内会話（ソーシャルリンク）、ピーク負荷分布といった指標を用いてパーティショニング方式を評価する。
• CCDF（累積分布関数の補数）を用いて、ツイート到着レートの99.99%分位数を測定し、パーティションごとの最悪ケース負荷を評価する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ構造、地理的局所性、非均一なトラフィックパターンといったソーシャルネットワーク特性が、パーティショニングアルゴリズム設計にどのように影響を与えるか。
• RQ2 OSNにおけるパーティション間通信の最小化とパーティション間の負荷バランスの両立のためのトレードオフは何か。
• RQ3 従来のグラフパーティショニング手法（例：METIS）とコミュニティベースのパーティショニングの間で、トラフィック低減と負荷バランスの観点からどのように比較できるか。
• RQ4 サイズ制御を施したモジュラリティベースのパーティショニング方式（MO+）は、ランダムおよび標準パーティショニングに比べて、どれほどソーシャルリンクの保持とネットワークオーバーヘッドの低減に優れているか。
• RQ5 パーティション数の増加に伴い、パーティショニング方式の性能はどのように変化するか。

主な発見

• MO+は、METISやランダムパーティショニングよりも、特にパーティション数が増加する際、パーティション間トラフィックをより効果的に低減する。
• 256パーティションでも、MO+は50%を超える会話リンク（ソーシャル関係）を保持しており、ソーシャル構造の強固な保持を示している。
• 128パーティションの場合、MO+では1パーティションあたりの99.99%分位ピーク負荷が1分間に35リクエストにまで低下する。これはGPの28、ランダムの21を上回るが、競争力のある負荷バランスを示している。
• 128パーティションを用いたMO+では、パーティションなし状態の951回/分（書き込み）から、1パーティションあたりの99.99%分位ピーク負荷が28リクエスト/分にまで低下し、リソースプロビジョニングの必要性が顕著に減少する。
• 従来のグラフパーティショニング（METIS）はトラフィックを低減するが、MO+に比べて負荷バランスとソーシャルリンクの保持の両面で劣っている。
• コミュニティ認識型パーティショニングと後処理（MO+）の組み合わせにより、ランダムまたは標準パーティショニング手法に比べ、トラフィック低減と負荷バランスの両立においてより優れたトレードオフが達成されている。