[論文レビュー] Petascale XCT: 3D Image Reconstruction with Hierarchical Communications on Multi-GPU Nodes

Mert Hidayetoğlu, Tekin Biçer+7 more|arXiv (Cornell University)|Sep 15, 2020

Medical Imaging Techniques and Applications参考文献 39被引用数 24

ひとこと要約

本論文は、階層的通信と混合精度計算を用いて、マルチGPUノード向けに最適化されたペタスケール3次元X線CT（XCT）再構成システムを提示する。2次元のメモリ中心の最適化を3次元に拡張し、ノード内通信を削減し、混合精度算術を活用することで、Summit上で24,576個のGPUを用いて9K×11K×11Kのマウス脳ボリュームを3分未塔で再構成することに成功し、65 PFLOPS（ピークの34％）に達した。

ABSTRACT

X-ray computed tomography is a commonly used technique for noninvasive imaging at synchrotron facilities. Iterative tomographic reconstruction algorithms are often preferred for recovering high quality 3D volumetric images from 2D X-ray images, however, their use has been limited to small/medium datasets due to their computational requirements. In this paper, we propose a high-performance iterative reconstruction system for terabyte(s)-scale 3D volumes. Our design involves three novel optimizations: (1) optimization of (back)projection operators by extending the 2D memory-centric approach to 3D; (2) performing hierarchical communications by exploiting "fat-node" architecture with many GPUs; (3) utilization of mixed-precision types while preserving convergence rate and quality. We extensively evaluate the proposed optimizations and scaling on the Summit supercomputer. Our largest reconstruction is a mouse brain volume with 9Kx11Kx11K voxels, where the total reconstruction time is under three minutes using 24,576 GPUs, reaching 65 PFLOPS: 34% of Summit's peak performance.

研究の動機と目的

• テラバイトスケールのシンクロトロンデータセットにおける反復的3次元トモグラフィー再構成の計算ボトル neck を解消すること。
• 極大スケールのボリュームおよびGPUリソースにスケーリングする際の、従来の並列化技術の限界を克服すること。
• 高精度で低ノイズな大規模な生物学的および材料的サンプルの高性能でスケーラブルな再構成を可能にすること。
• マルチGPU「ファットノード」アーキテクチャにおける通信およびメモリアクセスパターンを最適化し、遅延を最小限に抑え、スループットを最大化すること。
• 再構成品質を維持しながら精度を低減することで、メモリ容量と通信量を削減し、収束性や正確性に影響を与えないこと。

提案手法

• GPUノード間での階層的データおよびバッチ分割を最適化することで、2次元のメモリ中心の（MemXCT）手法を3次元に拡張し、（逆）プロジェクション演算子を最適化する。
• 空間的局所性を活用し、共有メモリおよびレジスタからのデータ再利用を図ることで、GPUの利用度を最大化するXCT最適化済みスパース行列-ベクトル乗算（SpMM）カーネルを設計する。
• 階層的通信パターンを実装：ノード間通信の前にGPUノード内でリダクションを実行することで、ノード間帯域幅の圧力を軽減する。
• 半精度、単精度、および混合精度を用いた混合精度算術を採用し、メモリ容量と通信量を削減するが、測定ノイズに対して数値ノイズフロアが著しく低いことから収束性が保たれる。
• プロセスおよびGPUノード間での柔軟な負荷分散を可能にする、設定可能なボリューム分散戦略を採用する。
• これらの最適化をスケーラブルな反復的再構成フレームワークに統合し、シンクロトロン施設からの大規模トモグラフィー・データセットを対象とする。

実験結果

リサーチクエスチョン

• RQ1 現代のマルチGPUスーパーコンピュータを用いて、テラバイトスケールのボリュームにおける3次元反復的トモグラフィー再構成をスケーリング可能か？
• RQ2 'ファットノード'GPUアーキテクチャにおける階層的通信パターンは、大規模再構成におけるノード間通信オーバーヘッドをどのように低減できるか？
• RQ3 反復的XCTにおける混合精度算術を、再構成品質や収束性に悪影響を与えることなく、どの程度活用できるか？
• RQ4 メモリ中心の最適化技術の3次元拡張は、極大スケールの3次元ボリュームにおいても高いGPU利用度とパフォーマンスを維持できるか？
• RQ5 Summitのようなペタスケールシステムにおいて、これらの最適化を用いて全3次元脳再構成を実行する際の、性能および効率的向上はどの程度達成可能か？

主な発見

• 本システムは、Summitスーパーコンピュータ上で24,576個のGPUを用いて、9K×11K×11Kのマウス脳再構成を3分未塔で達成した。
• 再構成は65 PFLOPSに達し、Summitのピーク性能の34％に相当し、高い強スケーリング効率を示した。
• 混合精度計算により、メモリ容量と通信量が削減されたが、収束性と画像品質は維持され、再構成忠実度に顕著な損失は認められなかった。
• 階層的通信の活用により、ノード間通信が、GPUグループ内のリダクションに移譲されることで著しく削減され、スケーラビリティが向上した。
• XCT最適化SpMMカーネルは、共有メモリおよびレジスタからのデータ再利用により、グローバルメモリアクセスを最小限に抑え、高いGPU利用度を達成した。
• 半精度および混合精度を含むすべての精度タイプにおいて、収束が安定しており、これは測定ノイズフロアが数値ノイズよりも著しく高いことによるものである。