[論文レビュー] End-to-end data acquisition pipeline for the Cherenkov Telescope Array

E. Lyard, Walter, R.|arXiv (Cornell University)|Jan 1, 2017

Astrophysics and Cosmic Phenomena参考文献 7被引用数 1

ひとこと要約

本論文は、チェレンコフ望遠鏡アレイ（CTA）のエンドツーエンドなデータ取得（DAQ）パイプラインを提示し、多様な望遠鏡からの異種の生データを統一的で事前キャリブレーション済みフォーマットに統合する。このシステムはZeroMQとプロトコルバッファーを用い、モジュラーなコンポONENT間を高速にデータストリーミングする。1台の望遠鏡あたり最大43 Gbpsのデータ処理を実現し、リアルタイム分析、圧縮、および最適化されたメモリ管理を伴うZFITSを用いた現地リポジトリへの書き込みにより、最大18 Gbpsのスループットを達成する。

ABSTRACT

The Cherenkov Telescope Array (CTA) will operate several types of telescopes and cameras. The individual camera trigger rates will vary much - from 0.6 to 15 kHz - while the content of the raw data will be heterogeneous. Raw data streams of up to 43 Gbps per telescope must be handled efficiently, from the camera front-ends down to the on-site repository and real-time analysis. In addition, the system must transcode all raw data to a common, pre-calibrated format. We will present the pipeline that we propose to implement this data acquisition pipeline. It will format the raw data to a common structure, provide facilities to run camera-specific algorithms and compress and write data to the on-site repository. We will also present the Python interface that allows the analysis pipeline to access the data. Eventually, the two strategies foreseen to interface the camera servers will be detailed and the current status of the developments for CTA will be given, with the last performance figures measured.

研究の動機と目的

• チェレンコフ望遠鏡アレイ（CTA）における、多様な望遠鏡タイプから生じる極めて異種的で高帯域幅のデータストリーム（最大43 Gbps）を処理する課題に対処すること。
• 多様なカメラシステムからの生データを、一貫した処理と分析を可能にする単一の事前キャリブレーション済みデータフォーマットに統合すること。
• トリガー周波数が30–50 kHzの範囲で、分散処理ノード上でリアルタイムでのイベントパラメータ抽出とアレイレベルのイベント構築を可能にすること。
• ネイティブおよびブリッジドカメラサーバーインタフェースの両方をサポートする柔軟でモジュラーなDAQパイプラインを構築し、後方互換性とパフォーマンス最適化を実現すること。
• カスタマイズ可能な圧縮スキームを用いた、効率的かつ損失なしのデータストレージを実現するリポジトリライターを統合すること。

提案手法

• アルマ共通ソフトウェア（ACS）フレームワークを用いたモジュラーなDAQパイプラインを実装し、カメラ読み出し、パrameter抽出、アレイイベント構築、リポジトリライティングの各コンポONENTを含む。
• パイプラインモジュール間の高速非同期メッセージ伝送にZeroMQ（ZMQ）を用い、負荷分散と分散処理を可能にする。
• データ構造の均一なシリアル化と伝送にGoogleプロトコルバッファーを採用し、データコピーオーバーヘッドを最小限に抑え、パフォーマンスを向上させる。
• カメラ固有のデータを2つのインターフェースモードで統合：ネイティブ（直接API使用）およびブリッジド（別コンポONENTによるフォーマット変換）。
• カメラサーバーが直接プロトコルバッファーのメモリを割り当てることでメモリ使用量を最適化し、中間データコピーや不要なメモリコピーを排除し、スループットを向上させる。
• ZFITSベースのリポジトリライターを実装し、生イベントにカスタマイズ可能な圧縮（例：LZO、Rice、Huffman）を適用し、現地ストレージに書き込む。

実験結果

リサーチクエスチョン

• RQ1 異なるデータレートと構造を持つ多数のチェレンコフカメラシステムにおいて、どのようにして効率的に統一されたデータフォーマットを確立できるか？
• RQ2 1台あたり最大43 Gbpsの生データストリームをリアルタイムで処理するにあたり、低遅延かつ高信頼性を維持できるシステムアーキテクチャは何か？
• RQ3 特にメモリ制限のある環境において、パイプライン内の途中データコピーや不要なコピーを排除することで、どの程度のパフォーマンス向上が達成できるか？
• RQ4 長期間にわたるCTAデータストレージを考慮した場合、さまざまな圧縮スキームは、データ圧縮率と処理オーバーヘッドのバランスをどのように果たすか？
• RQ5 負荷分散されたイベント構築を伴い、30–50 kHzのアレイレベルのトリガー周波数を満たすために、提案されたDAQパイプラインはCTAアレイ全体にスケーリング可能か？

主な発見

• ネイティブインターフェースは、2本の並列10 Gbpsストリームを用いてピークスループット18 Gbpsを達成し、1ストリームあたりわずか1.5 CPUコアを要した。これは高い効率性を示している。
• ブリッジドインターフェースは、FlashCamネイティブフォーマットを統一フォーマットに変換する際、1ストリームあたり最大7 Gbpsを達成し、フォーマット変換の実現可能性を裏付けた。
• 予備テストでは、10 Gbpsインターフェースを追加するにつれ非線形的なパフォーマンススケーリングが観察された。これはリソース競合やメモリアクセスのボトルネックを示唆している。
• プロトコルバッファーを介したC++-Pythonインターフェースを用いたプロトタイプのZFITSリーダーは、合計処理時間にわずか3%のオーバーヘッドしか発生せず、初期分析に有効であることが証明された。
• 圧縮実験の結果、カラムごとの圧縮戦略（例：各データ型に異なるアルゴリズムを適用）が、圧縮率と速度の最良のトレードオフを実現した。特に「特定の」スキームが一般のものよりも優れた性能を示した。
• ACSおよびZMQに基づくモジュラー設計により、動的負荷分散が可能であり、さらなる最適化を経て、現在のベンチマークを上回るデータレートにも対応可能であることが判明した。