[論文レビュー] Accurate Throughput Prediction of Basic Blocks on Recent Intel Microarchitectures.

Andreas Abel, Jan Reineke|arXiv (Cornell University)|Jul 29, 2021

Parallel Computing and Optimization Techniques参考文献 20被引用数 4

ひとこと要約

この論文は、最近のIntelマイクロアーキテクチャの基本ブロックのスループットを予測する高精度なシミュレータを提案している。微小ベンチマークを用いて非公開のパイプライン詳細を逆引き解析することで実現している。実行ユニット、ポート制約、リソース競合といった主要なパイプライン部品をモデル化することで、最新のツールと比較して予測精度が10倍以上向上し、過去10年間のすべてのIntel Coreマイクロアーキテクチャをサポートする。

ABSTRACT

Tools to predict the throughput of basic blocks on a specific microarchitecture are useful to optimize software performance and to build optimizing compilers. In recent work, several such tools have been proposed. However, the accuracy of their predictions has been shown to be relatively low. In this paper, we identify the most important factors for these inaccuracies. To a significant degree these inaccuracies are due to elements and parameters of the pipelines of recent CPUs that are not taken into account by previous tools. A primary reason for this is that the necessary details are often undocumented. In this paper, we build more precise models of relevant components by reverse engineering using microbenchmarks. Based on these models, we develop a simulator for predicting the throughput of basic blocks. In addition to predicting the throughput, our simulator also provides insights into how the code is executed. Our tool supports all Intel Core microarchitecture generations released in the last decade. We evaluate it on an improved version of the BHive benchmark suite. On many recent microarchitectures, its predictions are more accurate than the predictions of state-of-the-art tools by more than an order of magnitude.

研究の動機と目的

• 最近のIntelマイクロアーキテクチャ上での基本ブロックスループット予測において、既存ツールの精度が著しく低い問題に対処すること。
• 予測誤差の原因となる、ポート制約やリソース共有といった以前未公開のパイプライン特性を同定・モデル化すること。
• 高精度なスループット予測に加え、低レベル実行挙動に関する洞察を提供するシミュレータの開発。
• 過去10年間でリリースされたすべてのIntel Coreマイクロアーキテクチャをサポートし、広範な適用可能性を確保すること。
• 正確な低レベルパフォーマンスモデリングを可能にすることで、コンパイラ最適化とパフォーマンスチューニングの向上を図ること。

提案手法

• 非公開の動作を特定するため、カスタムのマイクロベンチマークを用いて最近のIntelマイクロアーキテクチャの主要なパイプライン部品を逆引き解析する。
• 制御された条件下での命令レベルのパフォーマンス測定により、実行ユニット、ポート、リソース競合の詳細なモデルを構築する。
• これらのモデルを統合したサイクル正確なシミュレータを構築し、ターゲットマイクロアーキテクチャ上で基本ブロックの実行をエミュレートする。
• 命令スケジューリング、リソース割り当て、パイプラインハザードのシミュレーションを通じてスループットを予測する。
• 改良版BHiveベンチマークスイートからの測定値と照合することで、モデルの精度を検証する。
• シミュレーション中にポート使用状況、リソース競合、命令レベルの依存関係を追跡することで、実行の内部状態に関する洞察を公開する。

実験結果

リサーチクエスチョン

• RQ1 最近のIntelマイクロアーキテクチャに存在する、非公開のパイプライン機能のうち、既存のスループット予測ツールの精度を著しく低下させる主な要因は何か？
• RQ2 逆引きされたマイクロベンチマークは、実行ユニットの挙動やポート制約をどれほど正確に再構築できるか？
• RQ3 詳細なパイプラインモデリングを組み込むことで、既存ツールと比較してスループット予測精度はどの程度向上するか？
• RQ4 提案されたシミュレータは、過去10年間のすべてのIntel Coreマイクロアーキテクチャに一般化して適用可能か？
• RQ5 シミュレータの内部状態解析から、低レベル実行挙動に関するどのような洞察が得られるか？

主な発見

• 従来ツールの精度欠如の主な要因は、ポートレベルの制約やリソース共有動作といった非公開のパイプライン機能が無視されていることにある。
• 逆引きされたモデルは、以前無視されていたポート競合や実行ユニットの制限といった重要なパイプライン詳細を的確に捉えている。
• このシミュレータは、多くの最近のIntelマイクロアーキテクチャにおいて、最新のツールと比較して10倍以上の精度向上を達成している。
• 本ツールは、過去10年間でリリースされたすべてのIntel Coreマイクロアーキテクチャをサポートしており、広範な互換性と実用的価値を有している。
• スループット予測を超えて、ポート使用状況やリソース競合といった命令レベルの実行挙動に関する実用的洞察を提供しており、低レベルパフォーマンス解析を支援する。