[論文レビュー] Modern middleware for the data acquisition of the Cherenkov Telescope Array

E. Lyard, R. Walter+6 more|arXiv (Cornell University)|Aug 26, 2015

Astrophysics and Cosmic Phenomena参考文献 7被引用数 4

ひとこと要約

本論文は、ゼロMQをプロセス間通信に、Protocol Buffersを構造化されたデータシリアル化に使用する、モジュラーでスケーラブルなデータ取得（DAQ）システムを、チェレンコフ望遠鏡アレイ（CTA）向けに提案する。このアプローチにより、リアルタイムでのデータ圧縮、フェイルセーフ性、動的再構成が可能となり、プロトタイプでは最小限の開発コストで約9 Gbpsのスループットを達成したが、ローカルソケットと比較して約10%のパフォーマンスコストが生じた。

ABSTRACT

The data acquisition system (DAQ) of the future Cherenkov Telescope Array (CTA) must be ef- ficient, modular and robust to be able to cope with the very large data rate of up to 550 Gbps coming from many telescopes with different characteristics. The use of modern middleware, namely ZeroMQ and Protocol Buffers, can help to achieve these goals while keeping the development effort to a reasonable level. Protocol Buffers are used as an on-line data for- mat, while ZeroMQ is employed to communicate between processes. The DAQ will be controlled and monitored by the Alma Common Software (ACS). Protocol Buffers from Google are a way to define high-level data structures through an in- terface description language (IDL) and a meta-compiler. ZeroMQ is a middleware that augments the capabilities of TCP/IP sockets. It does not implement very high-level features like those found in CORBA for example, but makes use of sockets easier, more robust and almost as effective as raw TCP. The use of these two middlewares enabled us to rapidly develop a robust prototype of the DAQ including data persistence to compressed FITS files.

研究の動機と目的

• 550 Gbpsの原始データレートを処理できる、スケーラブルでモジュラーかつ耐障害性に優れたデータ取得システムの設計。
• 科学的に価値あるイベントを保持しつつ、550 Gbpsのデータ量を50 Gbps未満にリアルタイムでフィルタリングして低減すること。
• 空気シャワー観測や光干渉計測などの観測モードを、最小限の停止時間で切り替えることのできる動的再構成の実現。
• メッセージバッファリングと回復可能な通信により、フェイルセーフ性と高可用性を確保すること。
• 高レベルのミドルウェアを用いることで、将来の最適化を支援しつつ開発の複雑さを最小限に抑えること。

提案手法

• 後方互換性およびフォワード互換性、リフレクション機能を備えた構造化されたデータの定義とシリアル化に、Protocol Buffersを採用。
• 低レイヤーのTCPソケットに代わる、信頼性がありスケーラブルで非同期通信が可能な軽量メッセージングミドルウェアとしてゼロMQを採用。
• データバッファ、プロセッシングノード、リポジトリライターといった論理的コンポONENTを備えたモジュラーなパイプラインを設計し、データフローと処理段階を分離。
• 集中管理、監視、構成のため、Alma Common Software（ACS）フレームワークとDAQを統合。
• 現地での効率的な保存を実現するため、イベントデータを圧縮されたFITSファイル形式にリアルタイムで圧縮。
• 負荷分散、障害時の自動回復、実行時におけるコンポonentの追加／削除を実証するプロトタイプを構築。

実験結果

リサーチクエスチョン

• RQ1 異種の望遠鏡から550 Gbpsの原始データを処理できる、高スループットかつ低遅延のDAQシステムをどのようにアーキテクチャ設計できるか？
• RQ2 ゼロMQやProtocol Buffersといった現代的なミドルウェアは、CTAにおけるリアルタイムデータ処理に十分なパフォーマンスを維持しつつ、開発の複雑さを低減できるか？
• RQ3 モジュラーかつ合成可能なコンポーネントによって、観測モード（例：空気シャワー観測と干渉計測の切り替え）の動的再構成はどの程度可能になるか？
• RQ4 本提案アーキテクチャは、コンポーネントの障害発生時において、フェイルセーフ性とデータの回復性をどの程度効果的に達成できるか？
• RQ5 リアルタイムデータパイプラインにおいて、低レベルのソケットプログラミングと比較して、高レベルのミドルウェアを使用する際のパフォーマンスオーバーヘッドはどの程度か？

主な発見

• プロトタイプでは2ノード間で最大約9 Gbpsのスループットを達成し、リアルタイムデータ処理の実現可能性を示した。
• ゼロMQとProtocol Buffersの使用により、低レベルのソケット通信を自前で実装する場合と比較して、開発の複雑さが顕著に低減された。
• ミドルウェアスタックのパフォーマンスオーバーヘッドは、低遅延環境下でローカルC-structとTCPソケットと比較して約10%程度と推定された。
• システムは運用を停止せずにコンポーネントの追加・削除が可能であり、実行時における再構成と障害回復を可能にした。
• EventsBufferノードにおけるデータバッファリングにより、イベントを破棄する前に時間的一致の判断が可能となり、データ整合性が保持された。
• プロトタイプは、イベントデータを圧縮されたFITS形式にリアルタイムで圧縮する機能を成功裏に実証し、効率的な長期保存を可能にした。