[論文レビュー] An Efficient Real-time Data Pipeline for the CHIME Pathfinder Radio Telescope X-Engine

Andre Recnik, Kevin Bandura+6 more|arXiv (Cornell University)|Mar 20, 2015

Radio Astronomy Observations and Technology参考文献 7被引用数 9

ひとこと要約

本論文では、CHIME PathfinderのGPUベースのXエンジン向けに、256入力からの4+4ビット複素数ラジオデータを819 Gb/sでリアルタイム処理を可能にする、高性能なソフトウェアパイプライン「kotekan」を提示する。キーネルバイパスネットワーキング、メモリプール、最適化されたGPUカーネルを活用することで、1サーバーあたり51.2 Gb/sの処理を実現し、16台のサーバーでN=256に効率的にスケーリングし、高データレート下でも400 MHz帯域幅の相関処理を実現する。

ABSTRACT

The CHIME Pathfinder is a new interferometric radio telescope that uses a hybrid FPGA/GPU FX correlator. The GPU-based X-engine of this correlator processes over 819 Gb/s of 4+4-bit complex astronomical data from N=256 inputs across a 400 MHz radio band. A software framework is presented to manage this real-time data flow, which allows each of 16 processing servers to handle 51.2 Gb/s of astronomical data, plus 8 Gb/s of ancillary data. Each server receives data in the form of UDP packets from an FPGA F-engine over the eight 10 GbE links, combines data from these packets into large (32MB-256MB) buffered frames, and transfers them to multiple GPU co-processors for correlation. The results from the GPUs are combined and normalized, then transmitted to a collection server, where they are merged into a single file. Aggressive optimizations enable each server to handle this high rate of data; allowing the efficient correlation of 25 MHz of radio bandwidth per server. The solution scales well to larger values of N by adding additional servers.

研究の動機と目的

• CHIME PathfinderのハイブリッドFPGA/GPU FXコリレータにおける高帯域幅データ処理のためのスケーラブルでリアルタイムなソフトウェアパイプラインの設計。
• CPUおよびサーバーあたりの入力データ帯域幅を最大化し、システムコストを低減しながらリアルタイム性能を維持すること。
• 16台の処理サーバーを介して256入力からの819 Gb/sの4+4ビット複素数データを効率的に処理すること。
• 将来のN=2048入力へのスケーリングを最小限のアーキテクチャ変更で実現すること。
• データ収集パイプラインにおけるフェイルセーフと動的サーバー再接続を確保すること。

提案手法

• 本システムは、C言語で記述されたソフトウェアパイプライン「kotekan」を採用し、スレッドセーフなデータフローを実現するための汎用バッファオブジェクト（FIFOリングバッファ）を基盤とする。
• データは8本の10 GbEリンクを介してUDPパケットとして受信され、大容量（32MB〜256MB）のバッファドフレームに統合され、キーネルバイパスネットワーキングとDMA最適化されたメモリ転送によりGPUコプロセッサに転送される。
• 各サーバーは16台のGPU（AMD R9 280XおよびR9 270X）を用い、1GPUあたり3〜4のデータストリームを処理する。GPUカーネルは4ビット複素数データに最適化されている。
• メモリ管理には事前に割り当てられたプールを用い、実行時における動的malloc/freeコールを排除することで、パフォーマンス向上と遅延低減を実現する。
• パイプラインは複数のスレッド（ネットワーキング、GPU処理、GPUコールバック、ポストプロセッシング、出力）を採用し、すべての同期はバッファオブジェクトを介して行われる。
• 出力データは統合され、正規化され、TCP経由で中央収集サーバーに送信される。HDF5を用いたストレージにおいて、シーケンス番号とストリームIDにより正しい時間的・周波数的整合性が保証される。

実験結果

リサーチクエスチョン

• RQ1 大規模な電波干渉計において、コンmodityハードウェア上で効率的に実装可能なリアルタイムで高帯域幅のデータパイプラインを実現する方法は何か？
• RQ2 1サーバーあたり51.2 Gb/sの処理を実現し、CPUオーバーヘッドを最小限に抑えるために必要なソフトウェアおよびシステムレベルの最適化は何か？
• RQ3 マルチGPU・マルチストリーム環境下で、GPUメモリアクセスとデータ転送を最適化し、遅延を低減するとともにスループットを最大化するにはどうすればよいか？
• RQ4 N=16からN=256へのスケーリングにおいて、最小限のアーキテクチャ変更でリアルタイム性能を維持できるか？
• RQ5 分散型リアルタイムデータパイプラインにおいて、フェイルセーフと動的サーバー再接続をどのように実現できるか？

主な発見

• 16台のサーバーを統合して合計819.2 Gb/sのデータ処理レートを達成し、256入力からの819 Gb/sの4ビット天体データを処理している。
• 1サーバーあたり51.2 Gb/sの天体データと8 Gb/sの付加的データを処理し、ピークパケットレートは1秒あたり1250万パケットに達する。
• 1ソケットサーバーあたり51.2 Gb/sを継続的に維持でき、N=256入力で400 MHz帯域幅の相関処理を実現する。
• N=16からN=256へのスケーリングは効率的であり、将来的には全CHIME実験のN=2048への拡張が計画されている。
• メモリプールとキーネルバイパスネットワーキングの活用により、実行時における動的メモリ割り当てが排除され、安定性とパフォーマンスが向上した。
• フェイルセーフをサポート：故障したサーバーは修復可能で、データ収集を中断せずに再接続可能であり、再接続後、影響を受けていた周波数帯域が再開される。