[論文レビュー] Clustering Algorithms for Scale-free Networks and Applications to Cloud Resource Management

Ashkan Paya, Dan C. Marinescu|arXiv (Cornell University)|May 14, 2013

Complex Network Analysis Techniques参考文献 33被引用数 4

ひとこと要約

本稿では、コアノード（神経センター）を用いてローカルな接続性に基づきサーバーをクラスタリングする自己組織的でスケールフリーのオーバーレイネットワークを、クラウドコンピューティングに提案する。これにより、スケーラブルでレジリエントかつ効率的なリソース管理が可能になる。このアプローチは、スケールフリーなトポロジーを構築しクラスタ形成に役立てるため、バイアス付きランダムウォークを活用しており、グローバルな状態依存性を顕著に低減するとともに、厳格なSLAおよびプライバシー制約のもとで動的でポリシー駆動の管理を可能にする。

ABSTRACT

In this paper we introduce algorithms for the construction of scale-free networks and for clustering around the nerve centers, nodes with a high connectivity in a scale-free networks. We argue that such overlay networks could support self-organization in a complex system like a cloud computing infrastructure and allow the implementation of optimal resource management policies.

研究の動機と目的

• 大規模で高い動的特性を示すクラウドインfraストラクチャにおいて、スケーラブルで効率的かつ適応的なリソース管理を実現する挑戦に応える。
• 中央集権的または従来の分散制御の限界を克服し、ローカルな意思決定と最小限の状態情報に基づく自己組織的運用を可能にする。
• スケールフリーなトポロジーに基づく仮想オーバーレイネットワークを設計し、クラウドコンponents間での強固で低コストの調整を支援する。
• 高接続性を持つコアノードの周囲にサーバーを動的かつ効率的にクラスタリングし、局所的なポリシー適用とワークロード分散を容易にする。
• プライベートクラウドとパブリッククラウドを統合したハイブリッドクラウドの展開を支援しながら、データプライバシーを保ち、QoSおよびセキュリティ制約を満たす。

提案手法

• 新規ノードが高次数（高接続性）ノードに優先的に接続するバイアス付きランダムウォークアルゴリズムを用いて、スケールフリーなネットワークを構築する。これは優先接続のメカニズムを模倣する。
• スケールフリーなネットワークにおける高い接続性（高いk）を示すノードをコアノードとして特定し、クラスタ形成の神経センターとして機能させる。
• 距離メトリクスに基づき、各サーバーを最も近いコアノードに割り当てることでクラスタを形成し、局所的調整と通信オーバーヘッドの低減を実現する。
• 二段階のクラスタリングモデルを実装する：レベル1はコアノードの周囲のクラスタ、レベル2は特定の制約（例：セキュリティ、QoS、場所）を満たすためにバイアス付きランダムウォークを用いて形成されるクラスタ。
• コアノードを介してポリシー情報を配布し、所属クラスタ内のサーバーからのステータスレポートを収集することで、各サーバーの状態情報量を最小限に抑える。
• プライベートクラウドのサーバーがバイアス付きランダムウォークによりパブリッククラウドのコアノードに接続可能となるようにし、データローカリティとプライバシーを保持するハイブリッドクラウド統合を支援する。

実験結果

リサーチクエスチョン

• RQ1 大規模なクラウドシステムが、グローバルな状態情報の最小限の依存とローカル情報のみに依存して自己組織的かつ効率的なリソース管理を実現する方法は何か？
• RQ2 どのようなアルゴリズム的手法が、クラウドインfraストラクチャにおいてレジリエンス、スケーラビリティ、低通信オーバーヘッドを実現するスケールフリーなネットワークトポロジーの構築を可能にするか？
• RQ3 高次数のエンティティ（コアノード）をどのように選別し、分散的かつ自己組織的かつ安定的かつ効率的なサーバークラスタの形成に活用できるか？
• RQ4 バイアス付きランダムウォークを用いて、プライベートクラウドとパブリッククラウドをまたがるハイブリッドクラスタを構築する方法は何か？その際、セキュリティ、場所、QoS制約を尊重できるか？
• RQ5 IaaSクラウドにおいて、厳密なSLAのもとでより正確で局所的なリソース管理を可能にするスケールフリーなオーバーレイネットワークは、過剰なリソース予約の必要性を低減できるか？

主な発見

• 提案されたバイアス付きランダムウォークアルゴリズムは、パワー則の次数分布（p(k) ≈ k^−γ）を示すスケールフリーなネットワークを成功裏に生成し、大規模ネットワークではγ ≈ 3となる。これは現実のシステムを模倣している。
• 高い接続性を示すコアノードがネットワーク内で自然に出現し、クラスタ形成と調整のための効果的な神経センターとして機能する。
• ローカルな距離メトリクスを用いたクラスタリングにより、サーバーが効率的にコアノードの周囲に集約され、グローバルな状態情報の必要性が低減され、システムの俊敏性が向上する。
• 二段階のクラスタリングモデル（レベル1およびレベル2）により、動的かつ制約を考慮したハイブリッドクラスタの形成が可能となり、安全でQoSに配慮したクラウド展開を支援する。
• コアノードがグローバルなスナップショットではなく、局所的かつ正確な状態データに基づいて意思決定を行うことで、効果的なアドミッション制御とQoSポリシーの適用が可能になる。
• アーキテクチャにより通信オーバーヘッドと状態管理の負荷が低減され、10^6個以上のコンponentsを含む大規模システムにおいても、中央集権的制御が非現実的となるような環境に適している。