[論文レビュー] A Static Analysis-based Cross-Architecture Performance Prediction Using Machine Learning

Newsha Ardalani, Urmish Thakker+2 more|arXiv (Cornell University)|Jun 18, 2019

Parallel Computing and Optimization Techniques参考文献 26被引用数 4

ひとこと要約

本論文では、単一スレッドのCPUソースコードの静的解析のみを用いて、クロスアーキテクチャGPUスループット向上の予測を行う機械学習フレームワーク、Static XAPPを提案する。静的解析により10のプログラム特性を抽出し、離散化されたスループット閾値の上でのランダムフォレスト分類器を学習することで、異なるカットオフ値において平均94％の精度を達成する。これは、動的実行や人為的入力なしに静的特徴量のみで正確なパフォーマンス予測が可能であることを示している。

ABSTRACT

Porting code from CPU to GPU is costly and time-consuming; Unless much time is invested in development and optimization, it is not obvious, a priori, how much speed-up is achievable or how much room is left for improvement. Knowing the potential speed-up a priori can be very useful: It can save hundreds of engineering hours, help programmers with prioritization and algorithm selection. We aim to address this problem using machine learning in a supervised setting, using solely the single-threaded source code of the program, without having to run or profile the code. We propose a static analysis-based cross-architecture performance prediction framework (Static XAPP) which relies solely on program properties collected using static analysis of the CPU source code and predicts whether the potential speed-up is above or below a given threshold. We offer preliminary results that show we can achieve 94% accuracy in binary classification, in average, across different thresholds

研究の動機と目的

• CPUコードをGPUに移植する際の高コストと不確実性を軽減するため、潜在的なスループット向上を早期に予測すること。
• 動的バイナリインストルメンテーションや手動による特徴量推定に依存しないようにすること。これらは遅く、誤りが生じやすい。
• CPUソースコードの静的解析のみを用いて、プログラムがGPUで高いか低いスループット向上を達成するかを予測するフレームワークの開発。
• IDEへの実装やデバイス配置最適化に実用的に統合できるように、高速で自動化されたパフォーマンス予測を提供すること。
• 動的実行が必須であるという仮定に反して、静的プログラム特性がクロスアーキテクチャパフォーマンス予測に十分に説明力を持つことを示すこと。

提案手法

• フレームワークは、単一スレッドのCPUコードに対する静的解析を用いて、メモリアクセスパターン、ループ構造、データ依存性などの10のプログラム特性を収集する。
• 特徴量の値は、等頻度ビニングを用いて2〜3段階に離散化され、ノイズの低減とロバストネスの向上が図られる。
• 出力されるスループットは、ユーザーが定義したカットオフ閾値に基づき、2つのクラス（低速または高速）に離散化され、バイナリ分類が可能になる。
• 1000本のツリーを用いたランダムフォレスト分類器が、各ツリーで特徴量とトレーニングサンプルのランダムサブセットを用いて学習されたラベル付きデータセット上で訓練される。
• モデルは、複数のGPUプラットフォームおよびカットオフ値に対して、1つずつ除外する交差検証（LOOCV）を用いて評価され、安定性と一般化性能が評価される。
• データセットはベンチマークスイート（Lonestar, Rodinia, NAS）から構築され、負例（GPUに適さない例）を含めるためにカスタムマイクロベンチマークで拡張されている。

実験結果

リサーチクエスチョン

• RQ1 CPUソースコードの静的解析のみで、GPU上で高いか低いスループット向上を達成するかを予測できるか？
• RQ2 静的特徴量に基づいて学習された機械学習モデルは、異なるGPUプラットフォームにおいてクロスアーキテクチャパフォーマンスをどれほど正確に予測できるか？
• RQ3 スループットカットオフ閾値やプラットフォーム固有のパフォーマンス特性の変化に伴い、モデルの精度はどのように変化するか？
• RQ4 スループットクラスの数が2値分類を越えて増加しても、フレームワークは高い精度と安定性を維持できるか？
• RQ5 高品質なGPU最適化カーネルが限られている状況下でも、データセットバイアスや小標本サイズに対してフレームワークは頑健か？

主な発見

• 本フレームワークは、異なるスループットカットオフ値およびGPUプラットフォームにおいて、平均94％のクロスバリデーション精度を達成した。
• プラットフォーム1（GTX 750, Maxwell）では、精度が最小79％（最小）から最大97％（最大）の範囲にあり、カットオフ値の平均で86％であった。
• プラットフォーム2（GTX 660 Ti, Kepler）では、精度が最小76.5％（最小）から最大89％（最大）の範囲にあり、カットオフ値の平均で83％であった。
• カットオフ値の変動やプラットフォーム固有のパフォーマンス分布の違いに対してもモデルが頑健であることが確認され、優れた一般化性能を示した。
• 多クラス分類では、クラス数が増加するにつれて精度が低下するが、これは各クラスのデータ量が減少するため予想通りである。しかし、2〜5クラスの範囲でもモデルは信頼性高く動作した。
• 本研究では、静的プログラム特性がパフォーマンス予測に十分に説明力を持つことが示され、動的実行や人為的入力の必要性を覆すものとなった。