[論文レビュー] BOSS: a tool for batch job monitoring and book-keeping

C. Grandi|ArXiv.org|May 28, 2003

Distributed and Parallel Computing Systems参考文献 4被引用数 6

ひとこと要約

BOSS（Batch Object Submission System）は、高エネルギー物理学におけるバッチジョブ管理のためのリアルタイム監視および会計管理ツールであり、ユーザー定義のフィルタを用いて構造化されたジョブデータをMySQLデータベースに格納する。CMSにおける効率的なモンテカルロ生産およびグリッドベースのワークロードを可能にした。ヨーロピアンデータグリッドのような大規模コンピューティング環境でもスケーラビリティと信頼性を示した。

ABSTRACT

BOSS (Batch Object Submission System) has been developed to provide real-time monitoring and bookkeeping of jobs submitted to a compute farm system. The information is persistently stored in a relational database (MySQL in the current version) for further processing. By means of user-supplied filters, BOSS extracts the specific job information to be monitored from the standard input, output and error of the job itself and stores it in the database in a structured form that allows easy and efficient access. BOSS has been successfully used by all CMS Regional Centers for managing Monte Carlo data productions in 2002. Furthermore in fall 2002 it has been used in a prototype of the CMS production system deployed on the European DataGrid test bed demonstrating its ability to be used also in a grid environment.

研究の動機と目的

• 高エネルギー物理学のコンピューティングファームにおける大量のバッチジョブの追跡および管理の課題に対処すること。
• ワークフローの透明性を向上させるために、ジョブ実行データのリアルタイム監視および永続的な会計管理を提供すること。
• ジョブの標準入力、出力、エラーフローからユーザー定義のフィルタを用いて構造化されたメタデータを抽出し、データベースに格納すること。
• ヨーロピアンデータグリッドのようなグリッドコンピューティングインfrastructuresとの統合を支援し、分散型の生産ワークフローを可能にすること。
• CMSの地域センターで実証されたように、大規模なモンテカルロデータ生産における信頼性と効率の向上。

提案手法

• BOSSは、ユーザーが提供するフィルタルールを用いて、バッチジョブの標準入力、出力、エラーフローを解析することでジョブメタデータを取得する。
• フィルタリングされたジョブ情報は、関係データベース（現在の実装ではMySQL）に構造的かつクエリ可能な形式で格納される。
• システムはジョブデータをリアルタイムで処理し、ジョブのステータスやパフォーマンスメトリクスへの即時アクセスを可能にする。
• ユーザー定義のフィルタは、非構造化されたジョブログから特定のデータポイント（例：ジョブID、実行時間、リソース使用量）を抽出する。
• アーキテクチャはスタンドアロンおよびグリッド対応の両方の展開をサポートし、ヨーロピアンデータグリッドのテストベッドで実証済みの統合を実現している。
• BOSSはクライアント・サーバー型アーキテクチャを採用しており、監視ロジックとジョブ実行を分離することでスケーラビリティとフェイルセーフを確保している。

実験結果

リサーチクエスチョン

• RQ1 大規模なHEPコンピューティング環境におけるバッチジョブのリアルタイム監視は、どのように達成できるか？
• RQ2 非構造化されたログ出力からのジョブメタデータの信頼性と構造化された会計管理を実現するメカニズムは何か？
• RQ3 ヨーロピアンデータグリッドのような分散型グリッドインfrastructuresに、集中型監視システムが効果的にスケーリングできるか？
• RQ4 BOSSはモンテカルロデータ生産ワークフローにおける再現性とトレーサビリティをどのように支援するか？
• RQ5 BOSSは生産規模のHEPワークロードにおいて、パフォーマンスと信頼性に優れているか？

主な発見

• BOSSは2002年にCMSのすべての地域センターでモンテカルロデータ生産を効果的に管理し、高スルーレート環境における堅牢性を実証した。
• 構造化されたデータベースへの格納により、ジョブメタデータへのリアルタイムアクセスが可能になり、デバッグとワークフローの追跡が向上した。
• BOSSはヨーロピアンデータグリッドのテストベッド上でCMS生産システムのプロトタイプに展開され、グリッドコンピューティングアーキテクチャとの互換性を実証した。
• ユーザー定義のフィルタにより、生ログからの関連ジョブ情報の正確な抽出が可能になり、ノイズの低減とデータの正確性向上が達成された。
• MySQLにジョブデータを永続的かつ信頼性高く格納し、効率的なクエリと長期的な分析を可能にした。
• BOSSは生産環境でのスケーラビリティと保守性を実証し、最小限の運用オーバーヘッドで複雑で分散型のHEPワークロードを効果的にサポートした。