[論文レビュー] Early Experiences Migrating CUDA codes to oneAPI

Manuel Costanzo, Enzo Rucci+2 more|arXiv (Cornell University)|May 27, 2021

Parallel Computing and Optimization Techniques参考文献 3被引用数 6

ひとこと要約

この論文は、IntelのdpctツールがCUDAコードをoneAPIのDPC++プログラミングモデルに移行する際の有効性を評価しており、dpctが80–90%の移行を自動化できるものの、高度なCUDA機能については手動での対応が必要であることを示している。生成されたDPC++コードは、NVIDIAおよびIntelデバイスを含む多様なCPUおよびGPUアーキテクチャで機能的ポータビリティを達成しており、正しく実行され、実験的なoneAPIによるNVIDIA GPUサポートに起因する測定可能なパフォーマンス差が生じている。

ABSTRACT

The heterogeneous computing paradigm represents a real programming challenge due to the proliferation of devices with different hardware characteristics. Recently Intel introduced oneAPI, a new programming environment that allows code developed in DPC++ to be run on different devices such as CPUs, GPUs, FPGAs, among others. This paper presents our first experiences in porting two CUDA applications to DPC++ using the oneAPI dpct tool. From the experimental work, it was possible to verify that dpct does not achieve 100% of the migration task; however, it performs most of the work, reporting the programmer of possible pending adaptations. Additionally, it was possible to verify the functional portability of the DPC++ code obtained, having successfully executed it on different CPU and GPU architectures.

研究の動機と目的

• IntelのdpctツールがoneAPIエコシステム内におけるCUDAコードからDPC++への移行を自動化する有効性を評価すること。
• 生成されたDPC++コードの、CPUおよびGPUを含む異種アーキテクチャ間での機能的ポータビリティを評価すること。
• 特にCooperative Groups やCUDA固有のインライン関数といった高度なCUDA機能について、dpctの翻訳能力におけるギャップを特定すること。
• 移行されたコードのパフォーマンス特性を、NVIDIAおよびIntelハードウェアプラットフォーム上で分析すること。
• 開発者に対して、oneAPIを用いたCUDAコードの近代化の実用性と限界についての知見を提供すること。

提案手法

• 研究では、oneAPIのdpctツールを用いて、2つのCUDAアプリケーション（行列乗算とリダクション）をCUDA C++からDPC++に自動的に翻訳した。
• 移行プロセスでは、カーネル起動、メモリ管理、デバイス固有の構文を翻訳し、dpctは未翻訳または翻訳不能なコードセクションを示すコメントを挿入した。
• 生成されたDPC++コードは、NVIDIA RTX 2070 GPUおよびIntel Core i9-10920Xに搭載されたIntel Iris Xe MAX GPUの2つのハードウェアプラットフォームでコンパイルされ実行された。
• パフォーマンスは、行列乗算の問題サイズ（4096、8192、16384）を変更して測定し、CUDAとDPC++の実行時間を比較した。
• DPC++コードの正しさと、非IntelGPUを含む異なるアーキテクチャ間での機能的同等性を検証した。実験的なoneAPIサポートにより、非IntelGPUでも実行可能であった。
• NVIDIA GPU上でDPC++を実行可能にするために、ビルドプロセスに手動での調整を加えた。これは、デフォルトではネイティブサポートが提供されていなかったためである。

実験結果

リサーチクエスチョン

• RQ1 実際の運用において、dpctツールはCUDAコードをDPC++に移行する際にどの程度自動化できるか？
• RQ2 生成されたDPC++コードは、異なるCPUおよびGPUアーキテクチャ間でどの程度機能的ポータビリティを達成できるか？
• RQ3 実験的なoneAPIサポートがあるにもかかわらず、NVIDIA GPU上で実行された移行済みDPC++コードのパフォーマンスにどのような影響があるか？
• RQ4 dpctが完全にサポートしていないCUDA固有の機能は何か？また、それらを対処するためにどの程度の手動作業が必要か？
• RQ5 自動翻訳後に、正しさを損なわずにDPC++コードをさらに簡略化または最適化できるか？

主な発見

• dpctツールは、80–90%のCUDAからDPC++への移行を成功裏に自動化し、レガシーコードの移行にかかる手作業の負担を顕著に低減した。
• ツールは、Cooperative Groups や__shfl_down_sync といった翻訳不能なCUDA機能を示すコメントを挿入し、それらは手動での適応が必要であった。
• DPC++コードは機能的に正しく、IntelのCPUおよびGPU、およびNVIDIA RTX 2070 GPUでも正常に実行され、異種アーキテクチャ間のポータビリティが確認された。
• NVIDIA RTX 2070では、小さな行列ではCUDAと比較してDPC++の実行時間が10–15%長かったが、問題サイズが大きくなるにつれて性能差が拡大した（例：16384×16384では38%遅延）。これは、非最適なコード生成が原因とされる。
• NVIDIA GPU上でのパフォーマンスのオーバーヘッドは、実験的なoneAPIサポートおよびターゲット最適化パスの欠如に起因しており、将来的なコンパイラ改善により大幅な向上が見込まれる。
• 翻訳後のコード複雑性の増加にもかかわらず、DPC++コードはSYCL/DPC++の規約に準拠しており、手動でのリファクタリングによりさらに簡略化可能である。