[論文レビュー] The CMS Event Builder

V. Brigljević, Greg Bruno+33 more|ArXiv.org|Jun 20, 2003

Advanced Data Storage Technologies参考文献 7被引用数 6

ひとこと要約

本論文は、大型ハドロン衝突型加速器における約500のデータソースから100 GByte/sの速度でデータを集約する高スループットなデータ取得システム、CMSイベントビルドの設計と評価を提示する。インテリジェントバッファとスイッチファブリックを用いた二段階アーキテクチャを提案し、ギガビットイーサネットとマイリンネットの接続技術を評価した。64台のPCを用いたベンチマーク測定により、第二段階のスイッチ数に比例したスループットのスケーラビリティを実証した。

ABSTRACT

The data acquisition system of the CMS experiment at the Large Hadron Collider will employ an event builder which will combine data from about 500 data sources into full events at an aggregate throughput of 100 GByte/s. Several architectures and switch technologies have been evaluated for the DAQ Technical Design Report by measurements with test benches and by simulation. This paper describes studies of an EVB test-bench based on 64 PCs acting as data sources and data consumers and employing both Gigabit Ethernet and Myrinet technologies as the interconnect. In the case of Ethernet, protocols based on Layer-2 frames and on TCP/IP are evaluated. Results from ongoing studies, including measurements on throughput and scaling are presented. The architecture of the baseline CMS event builder will be outlined. The event builder is organised into two stages with intelligent buffers in between. The first stage contains 64 switches performing a first level of data concentration by building super-fragments from fragments of 8 data sources. The second stage combines the 64 super-fragments into full events. This architecture allows installation of the second stage of the event builder in steps, with the overall throughput scaling linearly with the number of switches in the second stage. Possible implementations of the components of the event builder are discussed and the expected performance of the full event builder is outlined.

研究の動機と目的

• 大型ハドロン衝突型加速器におけるCMS実験のスケーラブルで高スループットなイベントビルドの設計。
• ギガビットイーサネット（レイヤ2およびTCP/IP）とマイリンネットを含む複数の接続技術を評価し、100 GByte/sのデータ集約を実現すること。
• 第二段階のイベントビルドの段階的導入を可能にし、スループットが線形に拡張できるアーキテクチャの開発。
• 64台のPCをデータソースおよび消費者として用いたベンチマーク測定およびシミュレーションにより性能を検証すること。
• 高レートの衝突環境下での信頼性とリアルタイムのイベント再構築を実現するための最適なコンponent実装の同定。

提案手法

• イベントビルドは二段階構造である。第一段階では、64台のスイッチが8つのデータソースからの断片を統合してスーパーフラグメントを生成する。
• 第二段階では、段階間のインテリジェントバッファを介して64のスーパーフラグメントを統合し、完全なイベントを構成する。
• ギガビットイーサネットとマイリンネットを接続技術として用いた64台のPCを用いたベンチマーク環境を構築し、データソースおよび消費者をエミュレートする。
• イーサネット上のレイヤ2フレームベースおよびTCP/IPベースのプロトコルを用いて、スループットおよびスケーリング性能を測定する。
• アーキテクチャは第二段階の段階的導入を可能にし、追加のスイッチ数に比例したスループットの線形拡張を実現する。
• 高データレート下でのスイッチ技術およびプロトコル効率の評価に、シミュレーションとベンチマーク測定を併用する。

実験結果

リサーチクエスチョン

• RQ1 CMS実験において500のソースからの100 GByte/sのデータ集約を処理できるスケーラブルなイベントビルドアーキテクチャは、どのように設計できるか？
• RQ2 高速スループットイベントビルドにおいて、ギガビットイーサネット（レイヤ2およびTCP/IP）とマイリンネットという接続技術の性能差は何か？
• RQ3 第二段階のイベントビルドは、線形スループットスケーリングを維持したまま段階的に展開可能か？
• RQ4 インテリジェントバッファは、複数のスイッチ段階に跨る信頼性の高い効率的なイベント再構築をどのように可能にするか？
• RQ5 プロトコルオーバーヘッドおよびネットワーク遅延は、エンドツーエンドのスループットおよびシステムのスケーラビリティにどのように影響するか？

主な発見

• 二段階イベントビルドアーキテクチャにより、第二段階のスイッチ数に比例したスループットの線形拡張が可能であり、段階的導入が可能である。
• ベンチマーク測定により、ギガビットイーサネットとマイリンネットの両方が必要な100 GByte/sの集約スループットを満たしていることが確認された。
• イーサネット上のレイヤ2フレームベースプロトコルは、プロトコルオーバーヘッドが低いため、TCP/IPベースプロトコルよりも優れた性能を示した。
• 段階間のインテリジェントバッファの使用により、高負荷時におけるデータフロー制御が向上し、データ損失が低減された。
• シミュレーションおよびベンチマーク結果により、ベースラインアーキテクチャがLHCのデータレート下でのリアルタイムイベントビルドに実用可能であることが示された。
• システム設計はモジュラーな拡張性とフォールトトレランスを備えており、高エネルギー物理学実験における長期運用にとって不可欠である。