[論文レビュー] Automatic Tuning of Local Memory Use on GPGPUs

Tianyi David Han, Tarek S. Abdelrahman|arXiv (Cornell University)|Dec 22, 2014

Parallel Computing and Optimization Techniques参考文献 13被引用数 11

ひとこと要約

本論文では、GPGPUのOpenCLカーネルにおいて、局所メモリ最適化を適用するかどうかを自動的に決定するための機械学習的手法としてランダムフォレストを提案する。56万件の合成ベンチマークで学習させたモデルは、合成データでは95％のペナルティ加重精度を達成し、実世界のカーネルではほぼ95％の精度を示し、ヒューリスティクスや解析的モデルを上回る性能を発揮した。

ABSTRACT

The use of local memory is important to improve the performance of OpenCL programs. However, its use may not always benefit performance, depending on various application characteristics, and there is no simple heuristic for deciding when to use it. We develop a machine learning model to decide if the optimization is beneficial or not. We train the model with millions of synthetic benchmarks and show that it can predict if the optimization should be applied for a single array, in both synthetic and real benchmarks, with high accuracy.

研究の動機と目的

• GPUカーネルのパフォーマンス向上に寄与する局所メモリ最適化を適用すべきかどうかを判断する信頼性のあるヒューリスティクスの不足に対処すること。
• キャッシュされた配列領域を局所メモリに格納することでパフォーマンスが向上するかどうかを予測する、自動的かつデータドリブンな手法を開発すること。
• 多様なメモリアクセスパターンを捉えるために、大規模な合成ベンチマークスイートを用いて、頑健な機械学習モデルを訓練すること。
• 線形代数や画像処理の分野に由来する実世界のカーネルを用いて、モデルの一般化性能を評価すること。
• 合成ベンチマークが、実際のGPUパフォーマンスチューニングのための高精度な自動チューニングモデルの訓練に効果的に利用可能であることを示すこと。

提案手法

• 密度行列代数や構造的グリッドで一般的に見られるデータアクセスパターンをカバーする大規模な合成ベンチマークスイート（560万個のカーネルインスタンス）を生成する。
• データ再利用、メモリコalescing、レジスタ使用量、並列性の影響といったカーネル特徴量を抽出し、モデルの学習に用いる。
• 10％の合成データを用いて、20本のツリーとノードあたり4つの特徴量を持つランダムフォレスト分類器を訓練し、最適化の利益を予測する。
• 最適化あり／なしのオラクルパフォーマンスデータ（実測値）を、モデルの学習と評価の基準とする。
• 2つの指標を用いてモデルの精度を評価する：カウントベースの精度と、誤予測によるパフォーマンス損失を考慮したペナルティ加重精度。
• 訓練済みモデルを実世界のカーネルに適用し、一般化性能とロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 多様なGPUワークロードにおいて、機械学習モデルは局所メモリ最適化がカーネルパフォーマンスを向上させるかどうかを正確に予測できるか？
• RQ2 合成ベンチマークで学習させたモデルは、実世界のOpenCLカーネルへの一般化においてどの程度有効か？
• RQ3 自動チューニング意思決定における予測誤差の実用的影響を最もよく捉えるパフォーマンス指標は何か？
• RQ4 メモリ非コalescing、データ再利用、並列性の低下といった要因は、最適化の利益にどのように影響するか？
• RQ5 合成ベンチマークは、高精度な自動チューニングモデルの訓練に、実ベンチマークの代替として効果的に利用可能か？

主な発見

• 未観測の合成カーネルインスタンスにおいて、モデルは86％のカウントベース精度と94.8％のペナルティ加重精度を達成した。
• 実世界のカーネルでは、ペナルティ加重精度がほぼ95％に達し、1インスタンスあたりの最小スコアが30％であった。これは、まれに発生するが高影響度の誤予測が存在することを示している。
• モデルの実カーネルにおける性能は、行列乗算、畳み込み、MRIグリッド化といった多様な分野で一貫しており、安定性が確認された。
• 合成ベンチマークの使用により、高次元の特徴空間モデリングに不可欠な、大規模かつ多様なデータセットを活用しての訓練が可能になった。
• モデルは、カーネル特性とパフォーマンスへの影響の複雑な相互作用を捉えられるため、従来のヒューリスティクスや解析的モデルを上回った。
• 本研究では、合成データで学習させた機械学習モデルが、実際のGPUワークロードに効果的に一般化できることを示し、局所メモリ使用の高精度な自動チューニングが可能であることを実証した。