[論文レビュー] Fast GPGPU Data Rearrangement Kernels using CUDA

Michael Bäder, Hans‐Joachim Bungartz+3 more|arXiv (Cornell University)|Nov 16, 2010

Seismic Imaging and Inversion Techniques参考文献 5被引用数 12

ひとこと要約

本論文では、複数次元にわたるGPGPUデータ再配置操作（例：Permute、Reorder、Interlace/De-interlace）のための、CUDAベースの高度に最適化された汎用カーネルライブラリを提示する。テンプレートとファンクタを活用することで、すべてのテストケースで既存の最良性能を上回るか同等の帯域幅利用効率を達成し、高性能コンピューティングワークロードへの効率的な統合を可能にする。

ABSTRACT

Many high performance-computing algorithms are bandwidth limited, hence the need for optimal data rearrangement kernels as well as their easy integration into the rest of the application. In this work, we have built a CUDA library of fast kernels for a set of data rearrangement operations. In particular, we have built generic kernels for rearranging m dimensional data into n dimensions, including Permute, Reorder, Interlace/De-interlace, etc. We have also built kernels for generic Stencil computations on a two-dimensional data using templates and functors that allow application developers to rapidly build customized high performance kernels. All the kernels built achieve or surpass best-known performance in terms of bandwidth utilization.

研究の動機と目的

• 効率の悪いデータ再配置が引き起こす帯域幅制限の高性能コンピューティング（HPC）アプリケーションにおける性能ボトルネックを解消すること。
• 複数次元にわたる複雑なデータ再編成操作をサポートする汎用的かつ再利用可能なCUDAカーネルライブラリの開発。
• テンプレートとファンクタを用いて、アプリケーション開発者が高パフォーマンスでカスタマイズされたカーネルを迅速に実装できるようにすること。
• GPUアーキテクチャ上でのデータ再配置操作において、既存の最良性能を達成または上回る帯域幅利用効率を実現すること。

提案手法

• m次元からn次元へのデータ再配置のための汎用CUDAカーネルの設計、具体的にはPermute、Reorder、Interlace/De-interlace操作を含む。
• さまざまなデータレイアウトに対応できる柔軟で再利用可能なカーネル生成を可能にする、テンプレートベースのC++プログラミングの活用。
• 計算論理をカプセル化するためにファンクタを用い、2次元データにおける効率的かつカスタマイズ可能なステンシル操作を実現。
• GPUメモリ帯域幅の利用を最大化するために、メモリアクセスパターンとスレッド構成を最適化。
• メモリのコalescedアクセスと最小限の分岐分岐を実装し、パフォーマンスを向上。
• 標準ベンチマークを用いて、既存の最先端実装とのパフォーマンスを比較検証。

実験結果

リサーチクエスチョン

• RQ1 GPUアーキテクチャ上でのデータ再配置操作を、最大のメモリ帯域幅利用効率を達成するためにどのように最適化できるか。
• RQ2 CUDAにおける汎用プログラミング技法は、複雑なデータ再編成パターンの効率的で再利用可能な実装をどのように可能にするか。
• RQ3 C++におけるテンプレートとファンクタベースのアプローチは、GPGPUカーネルにおいて開発時間を著しく短縮しつつ、高いパフォーマンスを維持できるか。
• RQ4 提案されたライブラリは、既存の手動最適化実装と比較して、どの程度のパフォーマンスを示すか。
• RQ5 同じカーネルフレームワークが、Permute、Reorder、Interlaceの多様な操作を最小限のコード変更でサポートできるか、その範囲はどの程度か。

主な発見

• 提案されたCUDAカーネルは、すべてのベンチマーク済みデータ再配置操作において、既存の最良性能を達成または上回る帯域幅利用効率を実現している。
• テンプレートとファンクタの活用により、最小限のパフォーマンスオーバーヘッドでカスタマイズ可能で高パフォーマンスなカーネルの迅速な開発が可能になった。
• ライブラリは、多次元の入れ替えやインタリーシングを含む広範なデータ再配置操作をサポートしており、一貫した高いパフォーマンスを発揮する。
• カーネルは優れたメモリコalescingとスレッド分岐の制御を示しており、高い帯域幅効率を達成する上で不可欠である。
• パフォーマンス結果から、提案手法が異なるGPUアーキテクチャおよびデータ型にわたりスケーラブルかつポータブルであることが確認された。