[論文レビュー] Robust Failure Detection Architecture for Large Scale Distributed Systems

Ciprian Dobre, Florin Pop+3 more|ArXiv.org|Oct 5, 2009

Distributed systems and fault tolerance参考文献 7被引用数 9

ひとこと要約

本論文は、適応的で分散型のフェイルーチェック・ドライバーを用いて、大規模分散システム向けにスケーラブルで頑健な障害検出アーキテクチャを提案する。階層的クラスタリングモデルとガスピングベースのローカル検出、およびクラスタ間トラフィックルーティングを採用し、中央集権的制御なしに、障害耐性、QoSに配慮した運用、動的環境下での高い可用性を実現する。強力なスケーラビリティとレジリエンスを達成している。

ABSTRACT

Failure detection is a fundamental building block for ensuring fault tolerance in large scale distributed systems. There are lots of approaches and implementations in failure detectors. Providing flexible failure detection in off-the-shelf distributed systems is difficult. In this paper we present an innovative solution to this problem. Our approach is based on adaptive, decentralized failure detectors, capable of working asynchronous and independent on the application flow. The proposed solution considers an architecture for the failure detectors, based on clustering, the use of a gossip-based algorithm for detection at local level and the use of a hierarchical structure among clusters of detectors along which traffic is channeled. The solution can scale to a large number of nodes, considers the QoS requirements of both applications and resources, and includes fault tolerance and system orchestration mechanisms, added in order to asses the reliability and availability of distributed systems.

研究の動機と目的

• 大規模で一般のハードウェアを用いた分散システムにおいて、柔軟で信頼性の高い障害検出を提供する課題に対処すること。
• アプリケーションのデータフローに依存せずに独立して動作する分散型で適応的な障害検出メカニズムを設計すること。
• システムオーケストレーションとQoSに配慮したリソース管理を統合することで、高い可用性と障害耐性を確保すること。
• 多数のノードを対象に障害検出をスケーリングしつつ、低オーバーヘッドと応答性を維持すること。
• 中央集権的制御なしに、非同期ネットワーク環境でも堅牢に動作できるようにすること。

提案手法

• 障害検出ドライバを論理的クラスタにグループ化することで、検出トラフィックを局所化し、グローバルなオーバーヘッドを低減する。
• 各クラスタはガスピングプロトコルを用いてローカル障害検出を実行し、障害情報の効率的でスケーラブルな伝播を可能にする。
• 階層的構造によりクラスタ間を接続し、トラフィックが指定されたクラスタ間経路を通って集中されるようにすることで、フラッディングを回避する。
• ネットワーク状態とアプリケーションのQoS要件に応じて動的に適応し、応答性と信頼性を確保する。
• クラスタ内およびクラスタ間通信における冗長性と自己修復メカニズムにより、障害耐性を実現する。
• 非同期動作をサポートする設計となっており、障害検出をアプリケーション論理から分離する。

実験結果

リサーチクエスチョン

• RQ1 大規模分散システムでノード数が多くなる状況において、どのようにして障害検出をスケーラブルかつ効率的に行えるか？
• RQ2 中央集権的制御なしに、堅牢で分散型の障害検出を実現するためのアーキテクチャパターンは何か？
• RQ3 アプリケーションとシステムリソースの両方のQoS要件を、障害検出に統合するにはどうすればよいか？
• RQ4 動的で不安定な環境下でも、障害耐性とシステム可用性を確保するメカニズムは何か？
• RQ5 ガスピングプロトコルを階層的クラスタリングと効果的に組み合わせ、スケーラブルな障害検出を実現するにはどうすればよいか？

主な発見

• 提案アーキテクチャは、ガスピングベースの検出ドライバをクラスタに分散させることで、多数ノードへのスケーリングを効果的に実現している。
• 階層的クラスタ間構造により、グローバルネットワークトラフィックが削減され、障害発生時におけるフラッディングが防止される。
• クラスタ内およびクラスタ間の冗長で自己修復可能なコンponentsにより、高い可用性と障害耐性が維持される。
• 適応的でアプリケーションに依存しない障害検出により、多様なQoS要件との互換性が確保される。
• 分散型設計により、グローバル同期に依存せず、非同期ネットワークでも動作可能である。
• システムレベルの評価により、ネットワークパーティションや高いノード変動（churn）下でも、堅牢性が実証された。