[論文レビュー] Experience with the Open Source based implementation for ATLAS Conditions Data Management System

A. Amorim, J. G. R. Lima+3 more|ArXiv.org|May 30, 2003

Distributed and Parallel Computing Systems参考文献 2被引用数 5

ひとこと要約

この論文は、スローリーに変化する検出器キャリブレーションおよびアライメントデータを、高いスケーラビリティとバックエンド独立性で処理することを目的とした、オープンソースでMySQLベースのATLAS条項データ管理システムの実装を提示している。このシステムは、階層的データアクセスおよび時刻ベースの有効期間を最適化したリレーショナルスキーマを用いることで、一般的な操作においてOracleより50倍も優れたパフォーマンスを達成している。

ABSTRACT

Conditions Data in high energy physics experiments is frequently seen as every data needed for reconstruction besides the event data itself. This includes all sorts of slowly evolving data like detector alignment, calibration and robustness, and data from detector control system. Also, every Conditions Data Object is associated with a time interval of validity and a version. Besides that, quite often is useful to tag collections of Conditions Data Objects altogether. These issues have already been investigated and a data model has been proposed and used for different implementations based in commercial DBMSs, both at CERN and for the BaBar experiment. The special case of the ATLAS complex trigger that requires online access to calibration and alignment data poses new challenges that have to be met using a flexible and customizable solution more in the line of Open Source components. Motivated by the ATLAS challenges we have developed an alternative implementation, based in an Open Source RDBMS. Several issues were investigated land will be described in this paper: -The best way to map the conditions data model into the relational database concept considering what are foreseen as the most frequent queries. -The clustering model best suited to address the scalability problem. -Extensive tests were performed and will be described. The very promising results from these tests are attracting the attention from the HEP community and driving further developments.

研究の動機と目的

• ATLAS実験のゆっくりと変化する条項データを管理するベンダーニュートラルでスケーラブルなソリューションのニーズに対応すること。
• 長期間にわたるHEPプロジェクトにおける商用DBMSソリューションの限界を、オープンソース技術を活用することで克服すること。
• 階層的組織、バージョニング、時刻間隔、条項データのタグ付けをサポートする柔軟で拡張可能なデータモデルを設計すること。
• RDBMSレイヤーを抽象化することでバックエンド独立性を確保しながら、標準SQL互換性を維持すること。
• 大規模データワークロード向けに、最適化されたリレーショナルスキーマ設計およびクラスタリング戦略を通じて、高いパフォーマンスとスケーラビリティを達成すること。

提案手法

• フォルダ、バージョン、時刻間隔を含む階層的条項データモデルを、正規化されたテーブルを用いてリレーショナルデータベーススキーマにマッピングした。
• 時刻間隔およびバージョン照会を頻繁に実行するクエリの最適化を図り、結合を最小限に抑え、インデックス効率を向上させた。
• 複数のデータベースおよびサーバーを用いたクラスタリングモデルを実装し、データとアクセス負荷の両方の増加に応じて水平スケーリングを可能にした。
• 主にMySQLをバックエンドとして採用し、その高速性とポータビリティを活用したが、PostgreSQLなどの他のSQL準拠RDBMSとの互換性も確保した。
• BLOBに格納されたデータに対するスキーマ認識アクセスを可能にする「拡張可能オブジェクト」の概念を導入し、フレームワーク間の相互運用性を向上させた。
• 将来の拡張性を考慮し、XML統合を先送りし、まずコア機能とユーザーのフィードバックに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 リレーショナルデータベースは、ATLAS条項データの階層的構造、バージョニング、時間変動性をどのように効率的にモデル化できるか？
• RQ2 データ量の増加に伴いO(1)のパフォーマンススケーリングを達成するには、どのような設計パターンとスキーマ最適化が必要か？
• RQ3 MySQLのようなオープンソースRDBMSは、高スループット・低レイテンシな条項データアクセスにおいて、Oracleのような商用ソリューションを上回ることができるか？
• RQ4 パフォーマンスや機能の完全性を損なわせることなく、バックエンド独立性をどのように達成できるか？
• RQ5 データコレクションのタグ付けをサポートし、並列環境における参照整合性を保つために必要なメカニズムは何か？

主な発見

• MySQLベースの実装は、大多数の標準操作においてOracleを50倍も上回るパフォーマンスを示し、顕著な性能向上を実証した。
• 提案されたクラスタリングモデルにより、複数のデータベースおよびサーバーを横断した水平スケーリングが可能となり、データ量およびアクセス負荷の増大にも対応できるようになった。
• MySQLからPostgreSQLへのバックエンド移行が最小限の作業で達成されたことから、システムのバックエンド独立性とポータビリティが裏付けられた。
• 最適化されたインデックスを備えた正規化されたリレーショナルスキーマにより、時刻有効期間およびバージョン管理済みデータの効率的なクエリが可能になった。
• 「拡張可能オブジェクト」の概念により、BLOBに格納されたデータに対するスキーマ認識アクセスが可能となり、異なるATLASフレームワーク間の相互運用性が向上した。
• 現在のAPIに知られた制限（例：信頼性の低いタグ付け、不完全なバージョン参照）があるものの、ユーザーのフィードバックに基づく進化に耐えうる安定的で生産環境向けの基盤を提供している。