[論文レビュー] Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study

Amr H. Hassan, Christopher J. Fluke+1 more|arXiv (Cornell University)|Nov 29, 2011

Astronomy and Astrophysical Research被引用数 5

ひとこと要約

本論文は、共有メモリと分散メモリアーキテクチャを組み合わせることで、ペタスケールの天体データのリアルタイム分析とインタラクティブ可視化を可能にする分散CPU/GPUフレームワークを提示する。GPUアクセラレーション、MPIベースのノード間通信、マスタースレーブ型メッセージパッシングモデルを活用することで、ボリュームレンダリングのピーク性能が最大2.5テラボクセル/秒に達し、データ移動量を50%以上削減。1台のマシンのメモリ容量を超えるデータセット（例：204 GBのスペクトルキューブ）を128のGPUで処理可能となり、33–55 fpsの性能を達成する。

ABSTRACT

Upcoming and future astronomy research facilities will systematically generate terabyte-sized data sets moving astronomy into the Petascale data era. While such facilities will provide astronomers with unprecedented levels of accuracy and coverage, the increases in dataset size and dimensionality will pose serious computational challenges for many current astronomy data analysis and visualization tools. With such data sizes, even simple data analysis tasks (e.g. calculating a histogram or computing data minimum/maximum) may not be achievable without access to a supercomputing facility. To effectively handle such dataset sizes, which exceed today's single machine memory and processing limits, we present a framework that exploits the distributed power of GPUs and many-core CPUs, with a goal of providing data analysis and visualizing tasks as a service for astronomers. By mixing shared and distributed memory architectures, our framework effectively utilizes the underlying hardware infrastructure handling both batched and real-time data analysis and visualization tasks. Offering such functionality as a service in a "software as a service" manner will reduce the total cost of ownership, provide an easy to use tool to the wider astronomical community, and enable a more optimized utilization of the underlying hardware infrastructure.

研究の動機と目的

• 単一マシンのメモリ容量や処理能力を超えるペタスケールの天体データセットに起因する計算課題に対処すること。
• 異種のCPU/GPUアーキテクチャを用いて、大規模なスペクトルキューブのリアルタイムデータ分析とインタラクティブ可視化を可能にすること。
• 分散ノード間での最適化されたデータ配布と同期により、I/Oおよび通信オーバーヘッドを最小限に抑えること。
• 天文学者が高性能コンピューティングリソースにアクセスできるスケーラブルでコスト効率が良く、ユーザーフrndなサービス指向アーキテクチャを提供すること。

提案手法

• フレームワークは、カスタムメッセージキューを用いて非同期なスレッド間およびノード間通信を管理するマスタースレーブ型通信モデルを採用している。
• 各GPUはCPUコアが管理しており、データ準備、カーネル起動、前処理・後処理を担当することで、計算に対する細かい制御が可能になる。
• データは2段階の通信モデルを用いてノード間で分割される：CPUとGPU間の共有メモリを介したローカル共有、その後にMPIを用いたグローバル通信。
• システムは統一メモリアドレッシング（CUDA 4.0以降）と複数のGPUストリームを採用し、計算とデータI/Oを重ねることでスループットを向上させる。
• スケジューラサブモジュールはセマフォを用いて共有メモリへの排他アクセスを制御し、同時に更新が行われる際のレースコンディションを防止する。
• フレームワークはGPUカーネルにCUDAドライバAPIを、ノード間通信にMPIを用い、ユーザーインタラクションにはリモートのQtベースのビューアを実装している。

実験結果

リサーチクエスチョン

• RQ1 メインメモリ容量を超える天体データセットを処理するため、分散CPU/GPUアーキテクチャを効果的に統合・制御する方法は何か？
• RQ2 異種でマルチノードのGPUシステムにおいて、データ移動量と遅延を最小限に抑える通信および同期戦略は何か？
• RQ3 ハイブリッド共有/分散メモリモデルは、大規模なスペクトルキューブのインタラクティブボリュームレンダリングにおいて高い性能を達成できるか？
• RQ4 128のGPUを用いて、ますます大きなデータセットを処理する際、フレームレート（fps）はどのようにスケーリングするか？
• RQ5 CPUの代わりにGPUを使用することで、必要な処理ノード数と全体の通信オーバーヘッドにどのような影響が生じるか？

主な発見

• 204 GBのスペクトルキューブを128のGPUでレンダリングした際、フレームワークはピーク性能として2.5テラボクセル/秒を達成した。
• 204 GBのデータセットに対しては、Tesla C1060では33 fps、Tesla C2050では50 fpsを維持し、異なるGPUハードウェア間でのスケーラビリティを示した。
• ローカル通信とグローバル通信の段階を分離する2段階のデータ収集合戦略により、データ移動量が50%以上削減された。
• データセットサイズが増加しても性能が安定しており、4 GB（45 fps）から204 GB（33 fps）へのフレームレート低下はわずかに抑えられ、強力なスケーラビリティを示した。
• CPUをGPUに置き換えることで、必要な処理ノード数が減少し、通信オーバーヘッドとインfrastrucureコストが低減した。
• フレームワークは、1台のマシンのメモリに収まらないような大規模データセット（例：1 TBのASKAPスペクトルキューブ）のインサイト内分析とインタラクティブ可視化を可能にした。この場合、従来は1 GPUあたり170のサブキューブに分割する必要があった。