[論文レビュー] stdgpu: Efficient STL-like Data Structures on the GPU

Patrick Stotko|arXiv (Cornell University)|Aug 16, 2019

Robotics and Sensor-Based Localization参考文献 12被引用数 7

ひとこと要約

stdgpu は、GPU 実行を最適化した効率的で STL に類似したデータ構造を提供するオープンソースの C++ ライブラリであり、既存の CPU および GPU フレームワークとのシームレスな統合を可能にします。vector や deque などのコンテナに対して、GPU で加速された操作を可能にする Familiar で型安全なインターフェースを提供することで、CPU と GPU プログラミングのギャップを埋めつつ、カスタムメモリ管理および同期プリミティブを通じてスレッドセーフでパフォーマンスに優れた実装を実現します。

ABSTRACT

Tremendous advances in parallel computing and graphics hardware opened up several novel real-time GPU applications in the fields of computer vision, computer graphics as well as augmented reality (AR) and virtual reality (VR). Although these applications built upon established open-source frameworks that provide highly optimized algorithms, they often come with custom self-written data structures to manage the underlying data. In this work, we present stdgpu, an open-source library which defines several generic GPU data structures for fast and reliable data management. Rather than abandoning previous established frameworks, our library aims to extend them, therefore bridging the gap between CPU and GPU computing. This way, it provides clean and familiar interfaces and integrates seamlessly into new as well as existing projects. We hope to foster further developments towards unified CPU and GPU computing and welcome contributions from the community.

研究の動機と目的

• CPU 開発における C++ STL を模倣する標準化され、高水準で安全な GPU データ構造の不足に対処すること。
• リアルタイム 3D 再構築、コンピュータビジョン、AR/VR システムなどの GPU アクセelerated アプリケーションにおける効率的で信頼性の高いデータ管理を可能にすること。
• CPU と GPU プログラミングの間の意味的・構文的ギャップを、両方のプラットフォームで動作する Familiar で汎用的なインターフェースを提供することで埋めること。
• Thrust や ArrayFire などの既存の GPU コンピューティングフレームワークを、ネイティブにサポートされていない完全な機能を備えた同時実行可能で安全なコンテナ抽象化によって拡張すること。
• ホストデバイス関数のオーバーロードと一貫したメモリおよびイテレータのセマンティクスをサポートすることで、CPU と GPU コードのための統一プログラミングモデルを促進すること。

提案手法

• プラットフォームに依存しない抽象化を備えたコアコンponent を設計し、ホスト/デバイス関数属性と、ポータビリティと正しさを保証するための設定可能なインデックス型（index32_t/index64_t）を導入すること。
• STL に類似したセマンティクスを持つテンプレートベースのコンテナシステムを実装し、stdgpu::vector および stdgpu::deque を含め、動的リサイズ、ランダムアクセス、スレッドセーフな操作をサポートすること。
• 事前に割り当てられたメモリブロック内の有効なデータを追跡するためにビットセットベースのインジケータ配列を用い、無効なプレースホルダ値の使用を回避し、メモリの安全性を向上させること。
• ロック取得が失敗する可能性がある非ブロッキングミューテックス抽象化を導入し、コンテナ操作におけるリトライロジックによって細粒度の GPU 同期を実現すること。
• アトミックラッパー、ビット操作、ハッシュ関数などのユーティリティコンponent を提供し、低レベルの GPU カーネル開発およびコンテナ実装を支援すること。
• 既存のフレームワークとの相互運用性を確保するため、なじみ深い C++ 構文とセマンティクスを採用し、SLAMCast のようなプロジェクトへの大規模なリファクタリングなしに統合可能であることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 複雑なデータ並列ワークロードをサポートするために、C++ STL に類似したデータ構造を GPU に効果的かつ安全に実装する方法は何か？
• RQ2 CPU と GPU コードの間でシームレスな相互運用性を実現するための設計パターンは何か？ その際、パフォーマンスと型安全を維持することが不可欠である。
• RQ3 重い同期やブロッキング機構に依存せずに、GPU データ構造におけるスレッド非安全な操作をどのように緩和できるか？
• RQ4 カスタムメモリ管理とインジケータビットセットが、GPU コンテナにおける信頼性の向上とメモリエラーの低減に果たす役割は何か？
• RQ5 既存の GPU フレームワークに、挿入や削除などの動的操作をサポートする高水準で汎用的なコンテナをどれほど拡張できるか？

主な発見

• stdgpu は、動的操作、ランダムアクセス、スレッドセーフな変更を完全にサポートする、汎用的で STL に類似したコンテナ（例：vector, deque）の GPU 上での実装に成功している。
• このライブラリにより、出力サイズがデータに依存し事前に計算できないような GPU カーネル（例：Marching Cubes アルゴリズム）においても、効率的で並列なデータ処理が可能になった。
• ビットセットベースの有効性トラッキングシステムを採用することで、特殊なプレースホルダ値の使用に起因する欠陥を回避し、データ整合性とメモリの安全性が向上した。
• 非ブロッキングミューテックス設計により、コンテナ要素への安全な同時アクセスが可能であり、ロック取得の失敗はカーネルコード内で滑らかに処理された。
• ホストデバイス関数のオーバーロードとインデックス型抽象化（index32_t/index64_t）のおかげで、異種コードにおけるポータビリティが著しく向上し、一般的なプログラミングエラーが削減された。
• stdgpu はプロダクション環境で使用可能であり、リアルタイム 3D スキャン再構築を実現する SLAMCast などの実世界のシステムでも既に採用されており、複雑で GPU を多く使用するワークロードにおける実用性とパフォーマンスを実証している。