[論文レビュー] R-GMA: First results after deployment

Rob Byrom, Brian Coghlan+19 more|ArXiv.org|May 30, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 10

ひとこと要約

R-GMA は、仮想組織に跨る分散グリッド情報の統一的でクエリ可能なビューを提供するために、SQL ベースのデータモデリングを活用する関係的グリッド監視アーキテクチャです。履歴、最新、継続的など複数のクエリタイプをサポートし、5 種類の異なるプロデューサー型を備え、メディエーターが最適なプロデューサーにクエリをルーティングします。導入では 30 秒ごとに 40〜50 サイトの公開をサポートしており、最適化のためのパフォーマンスボトルネックが特定されています。

ABSTRACT

We describe R-GMA (Relational Grid Monitoring Architecture) which is being developed within the European DataGrid Project as an Grid Information and Monitoring System. Is is based on the GMA from GGF, which is a simple Consumer-Producer model. The special strength of this implementation comes from the power of the relational model. We offer a global view of the information as if each VO had one large relational database. We provide a number of different Producer types with different characteristics; for example some support streaming of information. We also provide combined Consumer/Producers, which are able to combine information and republish it. At the heart of the system is the mediator, which for any query is able to find and connect to the best Producers to do the job. We are able to invoke MDS info-provider scripts and publish the resulting information via R-GMA in addition to having some of our own sensors. APIs are available which allow the user to deploy monitoring and information services for any application that may be needed in the future. We have used it both for information about the grid (primarily to find what services are available at any one time) and for application monitoring. R-GMA has been deployed in Grid testbeds, we describe the results and experiences of this deployment.

研究の動機と目的

• GGF GMA モデルに基づき、スケーラブルで相互運用可能なグリッド情報および監視システムを設計すること。
• 関係モデルの表現力を利用して、分散グリッドデータソースに跨る統一的かつ複雑なクエリを可能にすること。
• 特にストリーミング、レジリエント、最新値などの専用プロデューサー型を備えることで、多様な監視ワークロードをサポートすること。
• メディエーターが各クエリに最適なプロデューサーを選択することで、効率的で動的なデータ発見とルーティングを実現すること。
• 実際のグリッドテストベッドでの導入と評価を通じて、パフォーマンスと耐障害性を検証すること。

提案手法

• R-GMA は、プロデューサーが SQL の CREATE TABLE を使用して登録し、SQL の INSERT を使用してデータを発行することで、関係データベースを用いた GMA コンシューマー・プロデューサー モデルを実装しています。
• 5 種類のプロデューサー型をサポートしています：DataBaseProducer（永続的 RDBMS ストレージ）、StreamProducer（メモリ内ストリーミング）、ResilientStreamProducer（ディスクバックアップストリーミング）、LatestProducer（最新値ストレージ）、CanonicalProducer（コードトリガークエリ）。
• コンシューマーは SQL の SELECT クエリを発行し、メディエーターがクエリタイプとデータの可用性に基づいて最も適切なプロデューサーにルーティングします。
• システムは、プロデューサーとコンシューマーを登録するレジストリ（ディレクトリサービス）を用いており、障害耐性を高めるためにソフトステート登録を採用しています。
• Java サーブレット上で構築されており、SWIG を介して複数の API（Java、C++、C、Python、Perl）をサポートしています。OGSA ウェブサービスへの移行計画もあります。
• メディエーターはクエリごとに最適なプロデューサーを動的に発見・接続し、分散的でスケーラブルなデータ取得を実現しています。

実験結果

リサーチクエスチョン

• RQ1 関係モデルは、分散的かつ自律的な複数のソースからの異種グリッド監視データを統一的にクエリ可能に効果的に統合できるか？
• RQ2 複数のサイトが同時にデータを発行する状況下で、関係的グリッド監視システムのパフォーマンスはどのようにスケーリングするか？
• RQ3 SQL ベースのプロデューサーを用いた高スルーレート・低レイテンシのグリッド監視システムにおけるパフォーマンスボトルネックは何か？
• RQ4 メディエーター駆動のルーティングシステムは、履歴、最新、継続的など異なるクエリタイプに対して最適なプロデューサーを効率的に選択できるか？
• RQ5 ソフトステート登録は、一時的な障害発生時においてもシステムの耐障害性を維持するために効果的か？

主な発見

• R-GMA は、30 秒ごとに 40 〜 50 グリッドサイトが監視データを発行する運用を実現し、実際のテストベッドでスケーラビリティを示した。
• プロデューサー内でタプルをバッファリングしてもシステムスルーレートにほとんど影響がなかったため、パフォーマンスボトルネックは Tomcat や JVM の設定など、他の要因にあると示唆された。
• DataBaseProducer と LatestProducer の組み合わせなど、複数のプロデューサー型を混在させた運用でも安定した動作が達成され、データの一貫性とフロー整合性が確認された。
• Tomcat の設定、JVM パramータ、物理メモリの増強によるパフォーマンスチューニングでスルーレートの向上が期待できる。
• 将来、複数の LatestProducer アーカイブに跨る分散クエリ実行に移行することで、スケーラビリティの大幅な向上と個々のノードへの負荷軽減が図れる可能性がある。
• ソフトステート登録に依存する仕組みが、プロデューサーとコンシューマーの最新の発見を維持する上で効果的であり、システムの耐障害性を確保した。