[論文レビュー] Challenging the challenge: handling data in the Gigabit/s range

T. Antičić, J. P. Baud+19 more|ArXiv.org|May 16, 2003

Scientific Computing and Data Management参考文献 2被引用数 3

ひとこと要約

本論文は、CERNにおけるALICE実験のデータ処理インfra構造を検証するためのALICEデータチャレンジを提示している。本チャレンジでは、現実的な処理パイプラインとストレージシステムを用いて、300 MB/sを超える持続的データ記録を実現し、1 Gb/sを超える性能を示した。これは、イベントビルド、データ転送、恒久的ストレージの分野における新技術およびフレームワークの妥当性を検証するものである。

ABSTRACT

The ALICE experiment at CERN will propose unprecedented requirements for event building and data recording. New technologies will be adopted as well as ad-hoc frameworks, from the acquisition of experimental data up to the transfer onto permanent media and its later access. These issues justify a careful, in-depth planning and preparation. The ALICE Data Challenge is a very important step of this development process where simulated detector data is moved from dummy data sources up to the recording media using processing elements and data-paths as realistic as possible. We will review herein the current status of past, present and future ALICE Data Challenges, with particular reference to the sessions held in 2002 when - for the first time - streams worth one week of ALICE data were recorded onto tape media at sustained rates exceeding 300 MB/s.

研究の動機と目的

• ALICE実験で想定される極めて高いデータレート下でのデータ取得およびストレージインフラのスケーラビリティと性能を検証すること。
• データソースから恒久的ストレージに至るまでの、実際の検出器データフローを模擬したエンドツーエンドのデータ処理パイプラインをテストすること。
• イベントビルダー、データ転送メカニズム、テープ記録システムなどのシステム部品におけるボトルネックを特定し、最適化すること。
• LHCの運用要件に備えるために、ギガビット/秒レベルのレートで1週間分のALICEデータをシミュレートすること。
• カスタムフレームワークと新興技術を用いて、1 Gb/sを超えるデータストリームを処理可能な実現可能性を示すこと。

提案手法

• 本物のALICEデータ生産レートを模倣するため、ダミーのデータソースから検出器データストリームをシミュレートすること。
• イベントビルド、データフォーマット、恒久的ストレージメディアへの転送を含む、完全なデータパスを実装すること。
• 高スルーレートデータ処理に最適化された処理要素を備えた分散コンピューティングフレームワークを採用すること。
• 300 MB/sを超える持続的レートでの記録を実現するため、テープストレージシステムを活用すること。
• 高速データ取得およびリアルタイム処理に特化したカスタムソフトウェアフレームワークを統合すること。
• 増加するデータ負荷を想定した制御されたテストセッションを実施し、システムの安定性と性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのデータ記録中に、実際のデータパスが300 MB/sを超えるレートを維持できるか？
• RQ2 ギガビット/秒レベルのデータレート下で、イベントビルドおよびデータ転送における主要なボトルネックは何か？
• RQ3 カスタムソフトウェアフレームワークは、ALICE検出器データのボリュームと複雑さをどれほど効果的に処理できるか？
• RQ4 テープストレージシステムは、持続的な高速レートで1週間分のシミュレートされたALICEデータを信頼性高く記録できるか？
• RQ5 ギガビット/秒レベルのデータスルーレートを達成および維持するために、どのようなシステム構成と技術が必要か？

主な発見

• ALICEデータチャレンジは、テープメディアに1週間分のシミュレートされたALICEデータを、300 MB/sを超える持続的レートで記録することに成功した。
• システムは1 Gb/sに近いデータレートを達成し、高エネルギー物理学実験における極めて高いデータ量処理の実現可能性を検証した。
• イベントビルドおよびデータ転送パイプラインは、高負荷条件下でも強固でスケーラブルであることが示された。
• カスタムフレームワークおよび最適化されたデータパスの活用により、データストリームの処理が著しく効率的に行われ、顕著な損失や遅延が生じなかった。
• チャレンジの結果、適切に処理チェーンに統合された既存のテープストレージ技術が、必要なデータレートをサポートできることを確認した。
• 結果として得られた知見は、システムチューニングに不可欠であり、ALICEのデータ取得およびストレージインfraの最終設計に影響を与えた。