[論文レビュー] The StoreGate: a Data Model for the Atlas Software Architecture

P. Calafiura, C. Leggett+3 more|ArXiv.org|Jun 14, 2003

Advanced Data Storage Technologies参考文献 3被引用数 11

ひとこと要約

StoreGateデータモデルは、ATLAS実験のGaudiソフトウェアアーキテクチャ向けに、柔軟で効率的かつ拡張可能なメモリ内データ管理システムを提供し、型およびアルゴリズムベースのオブジェクト検索を可能にするとともに、透過的な永続化およびキャッシュフォールティングを実現する。汎用ユーザー型をサポートし、ユーザー定義キーを回避するための自動識別子生成を採用しており、コンパイル時設定可能でパフォーマンスに優れたポリシー駆動のC++テンプレートを用いている。

ABSTRACT

The Atlas collaboration at CERN has adopted the Gaudi software architecture which belongs to the blackboard family: data objects produced by knowledge sources (e.g. reconstruction modules) are posted to a common in-memory data base from where other modules can access them and produce new data objects. The StoreGate has been designed, based on the Atlas requirements and the experience of other HENP systems such as Babar, CDF, CLEO, D0 and LHCB, to identify in a simple and efficient fashion (collections of) data objects based on their type and/or the modules which posted them to the Transient Data Store (the blackboard). The developer also has the freedom to use her preferred key class to uniquely identify a data object according to any other criterion. Besides this core functionality, the StoreGate provides the developers with a powerful interface to handle in a coherent fashion persistable references, object lifetimes, memory management and access control policy for the data objects in the Store. It also provides a Handle/Proxy mechanism to define and hide the cache fault mechanism: upon request, a missing Data Object can be transparently created and added to the Transient Store presumably retrieving it from a persistent data-base, or even reconstructing it on demand.

研究の動機と目的

• 動的データオブジェクトの登録と検索を可能にする、ATLASソフトウェアアーキテクチャ向けのスケーラブルで効率的なデータモデルの設計。
• 再構成アルゴリズム間の結合度を最小限に抑えるために、データプロバイダーとコンシューマーを、集中型の一時的データストアを通じて分離する。
• 型、アルゴリズムの出処、およびユーザー定義キーを用いた、識別と管理のための柔軟で拡張可能で高性能なメカニズムの提供。
• ハンドル/プロキシメカニズムを介した透過的な永続化およびキャッシュフォールティングを実現し、必要なデータオブジェクトをオンデマンドで取得または再構築する。
• Boostのコンセプトとポリシー駆動の設計パターンを用いたコンパイル時チェックにより、型安全とメモリ安全を確保する。

提案手法

• 一時的なメモリ内ストアにデータオブジェクトを管理する、辞書に似たデータストア（StoreGate）を設計。所有権とライフタイムはシステムが制御する。
• 2段階の識別子システムを採用：まずデータオブジェクトの型（例：TrackCollection）、次にその生成元のアルゴリズムインスタンス。これにより、同じ型の複数コレクションの区別が可能になる。
• 各データオブジェクトをラップするテンプレート化されたDataBucketを導入。型トレイトシステムを介して、DataObjectを継承しない型に対しても一意のClassIDを埋め込む。
• Boostのコンセプトチェックを用い、ユーザー定義キー型が必要なプロパティ（例：順序付け、永続性）を満たしていることをコンパイル時に検証。型安全を確保する。
• ElementLinkなどのコンponentに対してポリシー駆動設計を活用。ストレージおよびインデクシングポリシーをコンパイル時に組み合わせ、最適化された型固有のリンククラスを生成する。
• テキストベースのClassIDデータベースを用い、コンパイル時に一意の識別子を割り当て、実行時においても衝突を検出可能にする。

実験結果

リサーチクエスチョン

• RQ1 高エネルギー物理学のソフトウェアスタックにおいて、多様なデータ型とアクセスパターンを有する中で、動的かつ緩い結合のデータアクセスを効率的にサポートするためのデータモデルとは何か？
• RQ2 クライアントコードの変更なしに、透過的な永続化およびオンデマンドでのオブジェクト再構築を実現するメカニズムは何か？
• RQ3 共通の基底クラスを継承する必要のない汎用ユーザー定義型（例：STLコンテナ）をサポートするためのデータモデルの設計は？
• RQ4 型安全とパフォーマンスを確保しつつ、拡張性と実行時柔軟性を実現するための設計パターンは何か？
• RQ5 複雑なアプリケーション固有のアクセスパターンをサポートしつつ、キーマネジメントの開発者負担を最小限に抑えるための設計は？

主な発見

• StoreGateは、アルゴリズムコードとデータアクセスを明確に分離し、インターフェースの爆発的増加を抑制し、ATLAS Gaudiフレームワークにおけるソフトウェアの保守性を向上させた。
• 型ベースおよびアルゴリズム出処ベースの識別により、同じ型の複数コレクションが存在する状況でも、効率的かつ曖昧さのないデータオブジェクトの検索が可能になった。
• Boostのコンセプトチェックの統合により、ユーザー定義キー型がコンパイル時に妥当性を保証され、ランタイムエラーの発生を防ぎ、コードの正しさが向上した。
• ポリシー駆動設計により、コンパイル時に最適化された型固有のリンクおよびプロキシクラスが生成され、最小限のランタイムオーバーヘッドで高いパフォーマンスを達成した。
• 複数のリリースにわたり安定して運用可能であり、2回の主要な再設計作業を通じて、ATLASトリガー系の厳しい要件を満たすために信頼性とパフォーマンスが向上した。
• この設計はLCGコミュニティとも共有され、ATLASを越えた応用可能性を示し、アーキテクチャの整合性と再利用可能性を裏付けた。