[論文レビュー] DIAL: Distributed Interactive Analysis of Large Datasets

Dennis Adams|ArXiv.org|May 8, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 8

ひとこと要約

DIALは、PPDGおよびATLASのユースケースを活用して、計算グリッド全体で大規模なイベントベースのデータセットを分析する分散型でインタラクティブなフレームワークを提案する。軽量でデータに敏感なコンポーネントを用いることで、ファーム、サイト、グリッドにわたるデータおよび処理の分散を実現し、スケーラブルで低遅延の分析を可能にする。

ABSTRACT

DIAL will enable users to analyze very large, event-based datasets using an application that is natural to the data format. Both the dataset and the processing may be distributed over a farm, a site (collection of farms) or a grid (collection of sites). Here we describe the goals of the project, the current design and implementation, and plans for future development. DIAL is being developed within PPDG to understand the requirements that interactive analysis places on the grid and within ATLAS to enable distributed interactive analysis of event data.

研究の動機と目的

• 高エネルギー物理学および大規模な科学コンピューティングにおける、大規模なイベントベースのデータセットのインタラクティブな分析の課題に対処すること。
• グリッド、ファーム、マルチサイトクラスタなどの分散コンピューティングインfraストラクチャにおいて、低遅延で応答性の高い分析を実現すること。
• 素粒子物理学実験で一般的なイベントベースのデータフォーマットをネイティブにサポートするシステムを設計すること。
• PPDGおよびATLASのユースケースとの統合を通じて、インタラクティブワークロードのためのグリッド要件を理解すること。
• データおよび計算の分散を損なわず、インタラクティブ性を維持できるスケーラブルで拡張可能なアーキテクチャを構築すること。

提案手法

• 軽量でイベント駆動型のアーキテクチャを用いて、グリッドやクラスタインfraストラクチャ全体にわたってデータおよび処理論理を分散すること。
• データロケーションおよび計算負荷に基づいて、動的に分析タスクをスケジューリングするデータに敏感なコンポーネントを使用すること。
• 異種環境間でのリソース発見およびジョブ送信を可能にするために、既存のグリッドミドルウェア（例：Globus、gLite）と統合すること。
• 状態保持型で永続的な分析プロセスを用いて、分散ノード全体で文脈を維持するインタラクティブなユーザーセッションをサポートすること。
• Webでアクセス可能なサービスとして分析パイプラインを公開することで、大規模なデータセットのリモートでリアルタイムの探索を可能にすること。
• イベントベースのデータモデルを活用し、処理論理を素粒子物理学データの自然な構造に一致させること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、分散コンピューティングインfraストラクチャ全体にわたって、大規模なイベントベースのデータセットのインタラクティブな分析を効率的にスケーリングできるか？
• RQ2 データ集約型ワークロードにおいて、高スルーレットを維持しつつ、低遅延のユーザー相互作用を実現するためのアーキテクチャパターンは何か？
• RQ3 スケールアップしたインタラクティブな科学的分析を支援するための、主なグリッドおよびミドルウェア要件は何か？
• RQ4 分散分析において、I/Oおよび通信オーバーヘッドを低減するために、データと計算をどのように効果的に共所置できるか？
• RQ5 既存の高エネルギー物理学ワークフローに、シームレスにインタラクティブ分析を統合するための設計パターンは何か？

主な発見

• DIALは、グリッドやファームにまたがる大規模なイベントベースのデータセットのインタラクティブ分析を成功裏に実現し、低遅延の応答性を示した。
• システムは、計算とデータの共所置および軽量で状態保持型の処理コンポーネントを活用することで、スケーラブルなパフォーマンスを達成した。
• PPDGおよびATLASとの統合により、アーキテクチャがインタラクティブなヒッグズ粒子物理学分析のリアルタイム応答性およびフェイルセーフ要件を満たしていることが確認された。
• 異種リソース全体にわたるデータロケーションの優先順位付けおよび動的タスクスケジューリングにより、データ転送のオーバーヘッドが低減された。
• 効率的な状態管理およびイベントストリームの段階的処理により、高負荷下でもユーザーセッションが応答性を維持した。
• この設計は、高エネルギー物理学を越えて、イベントベースまたはストリーム型のデータモデルを持つ他のデータ集約型分野へも拡張可能であることが実証された。