[論文レビュー] The POOL Data Storage, Cache and Conversion Mechanism

D. Düllmann, M. Frank+3 more|ArXiv.org|Jun 11, 2003

Advanced Data Storage Technologies参考文献 4被引用数 12

ひとこと要約

本論文では、LHC実験における膨大なデータ量と高いデータレートに対応するため、柔軟で技術に依存しないデータストレージおよびキャッシュフレームワークであるPOOLを提示する。このフレームワークは、モジュラーでコンポonentベースのアーキテクチャにより、データモデリングと永続化メカニズムを分離することで、透過的なデータアクセス、スキーマの進化、さまざまなストレージ技術との統合を可能にする。

ABSTRACT

The POOL data storage mechanism is intended to satisfy the needs of the LHC experiments to store and analyze the data from the detector response of particle collisions at the LHC proton-proton collider. Both the data rate and the data volumes will largely differ from the past experience. The POOL data storage mechanism is intended to be able to cope with the experiment's requirements applying a flexible multi technology data persistency mechanism. The developed technology independent approach is flexible enough to adopt new technologies, take advantage of existing schema evolution mechanisms and allows users to access data in a technology independent way. The framework consists of several components, which can be individually adopted and integrated into existing experiment frameworks.

研究の動機と目的

• LHC陽子陽子衝突装置から想定される前例のないデータ量およびデータレートの課題に対処する。
• 下位のストレージ技術に依存しない永続的データストレージソリューションを提供する。
• 異種のストレージバックエンド間でスムーズなデータアクセスを可能にするスキーマの進化と統合を支援する。
• モジュラーなコンポonentを用いて、既存の高エネルギー物理学実験ソフトウェアフレームワークへの統合を可能にする。
• 異なるデータ表現形式やストレージフォーマット間での効率的なデータキャッシュおよび変換を促進する。

提案手法

• アプリケーション論理からストレージ詳細を抽象化する、複数のストレージ技術を対象とした永続化メカニズムを設計する。
• データストレージ、キャッシュ、変換が分離され、プラグイン可能であるコンポonentベースのアーキテクチャを実装する。
• 技術に依存しないデータモデルを用いることで、下位のストレージ実装にかかわらず透過的なアクセスを可能にする。
• バックワード互換性を損なわずにデータ構造の変更を可能にする、スキーマの進化メカニズムを統合する。
• 標準化されたインターフェースレイヤーを通じて、異なるフォーマットやストレージバックエンド間でのデータ変換を支援する。
• 分析ワークロードのパフォーマンス最適化を図るため、複数段階のキャッシュを実装する。

実験結果

リサーチクエスチョン

• RQ1 LHC実験の極めて高いデータレートおよびデータ量に対応できるように、データストレージシステムをどのように設計できるか？
• RQ2 高いパフォーマンスと柔軟性を維持しつつ、技術の独立性を実現するためのアーキテクチャパターンは何か？
• RQ3 既存のデータアクセスを中断させることなく、永続的データストレージシステムにおけるスキーマの進化をどのようにサポートできるか？
• RQ4 ストレージフレームワークを既存の高エネルギー物理学ソフトウェアスタックにどのようにシームレスに統合できるか？
• RQ5 異種のストレージ技術間で、効率的なキャッシュおよびデータ変換をどのように管理できるか？

主な発見

• POOLは、データモデリングとストレージ技術を明確に分離しており、リレーショナルデータベースやファイルシステムといったさまざまなバックエンドを透過的に利用可能にしている。
• フレームワークは組み込みのメカニズムを通じてスキーマの進化をサポートしており、既存のアクセスパターンに影響を与えることなくデータ構造を進化させることができる。
• モジュラーなコンポonent設計により、フル移行を要せず、個別の導入と既存の実験ソフトウェアフレームワークへの統合が可能である。
• キャッシュメカニズムは、繰り返しの分析ワークロードにおけるデータアクセスパフォーマンスを顕著に向上させた。
• システムは技術に依存しないデータアクセスを可能にし、ユーザーが下位のストレージ実装にかかわらず一貫した方法でデータとやり取りできる。
• LHC実験ワークロードのプロトタイピング段階で、このアプローチはスケーラブルで適応可能であることが実証され、本番環境での導入に十分な準備が整っていることが示された。