[論文レビュー] GPUs for data processing in the MWA

S. M. Ord, L. J. Greenhill+5 more|ArXiv.org|Feb 5, 2009

Distributed and Parallel Computing Systems被引用数 5

ひとこと要約

本論文は、Murchison Wide-Field Array (MWA) のためのGPUアクセラレート型リアルタイムデータ処理システムを提案する。NVIDIA GT200 GPUの巨大な並列処理能力と高密度演算強度を活用することで、20kWという厳しい電力制約内で約10 TFLOPsの性能を達成した。行列演算、FFT、HEALPIX再サンプリングを含む主要なキャリブレーションおよび画像化ワークロードをGPUに移植することで、CPUベースの実装と比較して約10倍の性能向上を達成し、遠隔地で電力制限のある環境においても、高レートの干渉計測定データのリアルタイム処理が可能になった。

ABSTRACT

The MWA is a next-generation radio interferometer under construction in remote Western Australia. The data rate from the correlator makes storing the raw data infeasible, so the data must be processed in real-time. The processing task is of order ~10 TFLOPS. The remote location of the MWA limits the power that can be allocated to computing. We describe the design and implementation of elements of the MWA real-time data processing system which leverage the computing abilities of modern graphics processing units (GPUs). The matrix algebra and texture mapping capabilities of GPUs are well suited to the majority of tasks involved in real-time calibration and imaging. Considerable performance advantages over a conventional CPU-based reference implementation are obtained.

研究の動機と目的

• ストレージやオフライン処理の実行が困難なほど、Murchison Wide-Field Array (MWA) から生じる大量のリアルタイムデータを処理する課題に対処すること。
• 計算に20kWしか利用できない遠隔地にある西オーストラリアの施設における電力制限を克服すること。
• エネルギー効率の良いハードウェアを用いて、リアルタイムキャリブレーションおよび画像化に必要な10 TFLOPs-1の計算スループットを達成すること。
• ホストとデバイス間のデータ移動を最小限に抑えることで、性能を最大化するGPUベースのリアルタイムシステムを開発すること。
• 電波観測分野における複雑で反復的なキャリブレーションおよび広角画像化タスクにGPUを用いる実現可能性を示すこと。

提案手法

• CPU-GPU間のデータ転送を最小限に抑えるために、キャリブレーション、画像化、再サンプリングを含む全リアルタイム処理パイプラインをGPU上に実装する。
• GPUのSIMDアーキテクチャを活用し、数百の軽量スレッドを用いてメモリ遅延を隠蔽し、演算強度を最大化する。
• スレッドのメモリアクセス要求を統合し、アクセスパターンを最適化することで、メモリの連続アクセスを実現する。
• GPUではサポートされていない原子的浮動小数点積算を回避するため、レースコンディションを引き起こす可能性のあるCPUベースの「スキャター」操作を「ガザー」操作に置き換える。
• すべてのスカイ領域を統合可能な画像化を可能にするために、ポリゴンの重複計算を含むフラックス再分配アルゴリズムを用いてHEALPIXスカイピクセル化を実装する。
• CUDAカーネルを用いて、機器の偏光補正のための4x4行列変換と、スラント直交投影におけるFFTベースの画像化を実行する。

実験結果

リサーチクエスチョン

• RQ1 GPUは、MWAのリアルタイム処理パイプラインに必要な10 TFLOPs-1の計算スループットを満たすのに十分な性能を提供できるか？
• RQ2 遠隔地に設置された環境において、20kWの電力予算内でGPUベースの処理を効率的に実装できるか？
• RQ3 電波観測のデータパイプラインにおいて、GPUのメモリアクセスパターンとスレッドスケジューリングをどのように最適化すれば、遅延を隠蔽し、性能を最大化できるか？
• RQ4 CPUベースのキャリブレーションおよび画像化コードをGPUアーキテクチャに移植するにあたり、特に非原子的演算に対して必要なアルゴリズム的変更は何か？
• RQ5 ホストとデバイス間のデータ移動を最小限に抑えることで、GPU上で全パイプラインを実行し、性能ボトルネックを回避できるか？

主な発見

• GPUベースのシステムは、主要な処理タスクにおいてCPUベースの基準実装と比較して約10倍の高速化を達成した。
• 1台のNVIDIA GT200 GPUは800 GFLOPs-1を達成し、1ノードあたり600Wの電力制限のもとで32ノードで合計20 TFLOPs-1の理論的性能を実現した。
• システムは20kWの電力予算内に収容されており、遠隔地に設置可能なMWAの現場での運用が可能である。
• メモリの統合とスレッドスケジューリングの最適化により、GPUの性能が顕著に向上し、メモリ遅延が効果的に隠蔽された。
• 移植プロセスにおいて、CUDAで原子的浮動小数点演算が利用できないため、「スキャター」操作を「ガザー」操作に置き換えるなどのアルゴリズム的変更が必要だった。
• 現在のGPUパイプラインでは画像再サンプリングステップが未実装であるが、マルチステップのパイプラインはすでに完全なGPUアクセラレーションの実現可能性を示している。