[論文レビュー] GANGA: a user-Grid interface for Atlas and LHCb

Karl Harrison, W. Lavrijsen+6 more|ArXiv.org|Jun 14, 2003

Distributed and Parallel Computing Systems参考文献 8被引用数 10

ひとこと要約

GANGA は、ATLAS や LHCb の実験がローカルおよびグリッドコンピューティングリソース上でジョブを管理するのを簡素化する、Python で作られたコンポーネント指向のユーザインタフェースです。ソフトウェアバスアーキテクチャを通じて、低レベルのグリッドおよびバッチシステムの複雑さを抽象化し、コマンドラインおよびグラフィカルインターフェースの両方から、Gaudi フレームワークベースのジョブのシームレスな設定、送信、モニタリング、出力収集を可能にします。

ABSTRACT

The Gaudi/Athena and Grid Alliance (GANGA) is a front-end for the configuration, submission, monitoring, bookkeeping, output collection, and reporting of computing jobs run on a local batch system or on the grid. In particular, GANGA handles jobs that use applications written for the Gaudi software framework shared by the Atlas and LHCb experiments. GANGA exploits the commonality of Gaudi-based computing jobs, while insulating against grid-, batch- and framework-specific technicalities, to maximize end-user productivity in defining, configuring, and executing jobs. Designed for a python-based component architecture, GANGA has a modular underpinning and is therefore well placed for contributing to, and benefiting from, work in related projects. Its functionality is accessible both from a scriptable command-line interface, for expert users and automated tasks, and through a graphical interface, which simplifies the interaction with GANGA for beginning and c1asual users. This paper presents the GANGA design and implementation, the development of the underlying software bus architecture, and the functionality of the first public GANGA release.

研究の動機と目的

• 高エネルギー物理学実験（例：ATLAS や LHCb）における大規模かつ分散型のコンピューティングジョブの管理の複雑さに対処すること。
• 異種のコンピューティング環境において、Gaudi フレームワークベースのジョブの設定、送信、モニタリングの負担を軽減すること。
• エキスパートによるスクリプト作成とノンプログラマー向けの GUI インタラクションの両方をサポートする、ポータブルで拡張可能で使いやすいインターフェースを提供すること。
• グリッドミドルウェア（例：Globus、EDG）およびバッチシステムの詳細を抽象化し、分散リソース間で透過的なジョブ実行を可能にすること。
• ペタバイト規模の LHC データチャレンジに不可欠な再現可能でスケーラブルなデータ処理ワークフローをサポートすること。

提案手法

• Python におけるコンポーネント指向のソフトウェアアーキテクチャを採用し、中央のソフトウェアバスを介した動的モジュールロードおよびインスペクションを実装すること。
• 共通のアプリケーションプログラミングインターフェース（API）にアクセスするコマンドラインインターフェース（CLI）とグラフィカルユーザインターフェース（GUI）を両方実装すること。
• ソフトウェアバスを用いて、ジョブ定義、設定編集、ジョブ分割、モニタリングなどの機能コンポONENTを、モジュラーで再利用可能な単位に分離すること。
• Globus や EDG などの既存のミドルウェアおよび Gaudi、ROOT、Athena などのフレームワークと統合し、エンドユーザーに低レベルの詳細を晒さないこと。
• ジョブオプションエディタ（joe）を設計し、オプションの特性（例：ドロップダウン、リスト、テキストフィールド）に応じて動的に適応するタイプに依存した UI コンポONENTを提供すること。
• ジョブ設定の永続化、プレビュー機能、CLI を通じたプログラム的アクセスを可能にすることで、自動化と再現性を支援すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、高エネルギー物理学実験における複雑で分散型のコンピューティングジョブを管理する統合的かつユーザーに透明なインターフェースを設計できるか？
• RQ2 Python におけるコンポーネント指向アーキテクチャは、多様なミドルウェアおよびアプリケーションフレームワークの統合をどの程度簡素化できるか？
• RQ3 GUI ベースのジョブエディタは、低レベルのジョブスクリプティングに不慣れな物理学者の間で、設定エラーを低減し、使いやすさを向上させることができるか？
• RQ4 ジョブモニタリングおよびステータス追跡を、メイン実行スレッドから効率的に分離することで、応答性の高いユーザインタラクションを実現できるか？
• RQ5 どのような設計パターンが、Gaudi フレームワークにおけるさまざまな物理学ワークフロー（例：シミュレーション、再構築、解析）間で、コンポーネントの拡張性と再利用性を可能にするか？

主な発見

• GANGA システムは、グリッドおよびバッチシステムの複雑さを効果的に抽象化し、物理学者が一貫性のある高レベルのインターフェースを通じて Gaudi ベースのジョブを管理できるようにした。
• ソフトウェアバスアーキテクチャにより、動的コンポーネントロードと通信が可能となり、将来的な拡張および他のツールとの統合のためのスケーラブルな基盤が構築された。
• ジョブオプションエディタ（joe）は、タイプに依存したインタラクティブな入力フォームを提供することで、設定エラーを低減し、共通の設定の保存・再利用を可能にした。
• CLI と GUI の両方のインターフェースが同等の機能を備えており、GUI セッションをスクリプト化し、繰り返し作業の自動化が可能である。
• システムのモジュラー設計により、ASK や ATCom、DIRAC、DIAL などの既存プロジェクトとの段階的開発および統合が可能となった。
• GANGA の初回公開リリースは、LHC データチャレンジに間に合うようデプロイされ、ATLAS や LHCb における本番利用の準備が整っていることを実証した。