[論文レビュー] A Distributed Agent Based System to Control and Coordinate Large Scale Data Transfers

Ciprian Dobre, Ramiro Voicu+2 more|arXiv (Cornell University)|Jun 25, 2011

Distributed systems and fault tolerance参考文献 1被引用数 8

ひとこと要約

本論文では、広域ネットワークを横断する大規模なデータ転送を監視・設定・調整する軽量で分散型のエージェントベースのシステム、LISAを提示する。MonALISAフレームワークの一部として構築されたLISAは、局所的およびグローバルな意思決定を用いて、データ転送の動的最適化を可能にし、高エネルギー物理学ワークロード用の高速データ転送（FDT）アプリケーションを用いて、Supercomputing 2006 バンド幅チャレンジにおいて数百台のサーバーを効果的に統合した。

ABSTRACT

We present a distributed agent based system used to monitor, configure and control complex, large scale data transfers in the Wide Area Network. The Localhost Information Service Agent (LISA) is a lightweight dynamic service that provides complete system and applications monitoring, is capable to dynamically configure system parameters and can help in optimizing distributed applications. As part of the MonALISA (Monitoring Agents in A Large Integrated Services Architecture) system, LISA is an end host agent capable to collect any type of monitoring information, to distribute them, and to take actions based on local or global decision units. The system has been used for the Bandwidth Challenge at Supercomputing 2006 to coordinate global large scale data transfers using Fast Data Transfer (FDT) application between hundreds of servers distributed on major Grid sites involved in processing High Energy Physics data for the future Large Hadron Collider experiments.

研究の動機と目的

• 地理的に分散したシステム間における複雑で大規模なデータ転送を広域ネットワークで効果的に統合する課題に対処すること。
• 効率性と信頼性の向上を図るために、データ転送中にシステムパラメータの動的設定と最適化を可能にすること。
• リアルタイムでの監視と意思決定が可能な、軽量でスケーラブルなエージェントアーキテクチャを構築すること。
• 特に大型ハドロン衝突型加速器実験を対象として、高スルーレットなデータ転送を支援すること。
• エージェントベースの統合手法が、大規模で生産環境に近いデータ転送シナリオにおいて実現可能であることを実証すること。

提案手法

• LISAは、参加する各サーバーにエンドホストエージェントとしてデプロイされ、システムレベルおよびアプリケーションレベルの監視データを収集できる。
• システムは分散アーキテクチャを採用しており、エージェントが中央集権的な監視インfraストラクチャを通じて状態を共有し、行動を統合する。
• LISAは、リアルタイムのネットワークおよびシステム状態に基づいて、転送パラメータの動的再設定をサポートする。
• MonALISAフレームワークと統合することで、複数のサイトに跨る局所的意思決定とグローバルな統合を可能にする。
• 高速データ転送（FDT）アプリケーションを活用することで、広域ネットワークを横断した高スルーレットなデータ転送を実現する。
• エージェントはイベント駆動メカニズムを用い、しきい値やポリシー規則に基づいてアクションをトリガーし、データフローの適応的制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 分散型エージェントシステムは、地理的に分散したシステム間の大規模なデータ転送を効果的に監視・統合できるか？
• RQ2 高スルーレットなデータ転送中に、システムパラメータの動的設定を可能にするメカニズムは何か？
• RQ3 局所的およびグローバルな意思決定の統合は、広域ネットワークにおける転送効率をどのように向上させるか？
• RQ4 エージェントベースのシステムは、同時に数百台のデータ転送を統合する際に、スケーラビリティと信頼性を確保できるか？
• RQ5 このようなシステムは、高エネルギー物理学ワークロードの要求を満たすために、実際に効果的に機能するのか？

主な発見

• LISAは、Supercomputing 2006 バンド幅チャレンジにおいて、数百台のサーバーに跨る大規模なデータ転送を成功裏に統合した。
• システムは、異種ネットワーク環境下でもスルーレットと信頼性の向上を実現するため、データ転送パラメータの動的最適化を可能にした。
• エージェントベースのアーキテクチャは、実世界の生産環境規模の展開において、スケーラビリティと適応性を示した。
• FDTアプリケーションとの統合により、最小限の手動介入で広域ネットワークを横断した高スルーレットなデータ転送が実現された。
• MonALISAフレームワークのおかげで、局所的監視とグローバルな統合が可能になり、分散サイト間で一貫した制御が確保された。
• システムは、現実のネットワーク環境下でも、複雑で大規模なデータ転送を効果的に管理できることを実証し、高性能コンピューティングワークロード向けの設計の妥当性を裏付けた。