[論文レビュー] Profile Guided Optimization without Profiles: A Machine Learning Approach

Nadav Rotem, Chris Cummins|arXiv (Cornell University)|Dec 24, 2021

Parallel Computing and Optimization Techniques被引用数 6

ひとこと要約

この論文では、プロファイルデータを必要とせず、大規模なインストルメンテッドバイナリのコーパスから得た静的プログラム特徴量を用いてトレーニングされた勾配ブースティング決定木を用いて、インストルメンテッドでないプログラムにおける分岐確率を予測する機械学習手法を提示する。この手法はLLVMにシームレスに統合され、手作業で書かれたヒューリスティクスを置き換え、わずかなコンパイルオーバーヘッドで顕著なパフォーマンス向上を達成する。

ABSTRACT

Profile guided optimization is an effective technique for improving the optimization ability of compilers based on dynamic behavior, but collecting profile data is expensive, cumbersome, and requires regular updating to remain fresh. We present a novel statistical approach to inferring branch probabilities that improves the performance of programs that are compiled without profile guided optimizations. We perform offline training using information that is collected from a large corpus of binaries that have branch probabilities information. The learned model is used by the compiler to predict the branch probabilities of regular uninstrumented programs, which the compiler can then use to inform optimization decisions. We integrate our technique directly in LLVM, supplementing the existing human-engineered compiler heuristics. We evaluate our technique on a suite of benchmarks, demonstrating some gains over compiling without profile information. In deployment, our technique requires no profiling runs and has negligible effect on compilation time.

研究の動機と目的

• 生産環境のコンパイラにおいて、プロファイルガイドド最適化（PGO）データを収集する高コストかつ保守負荷の高い課題に対処すること。
• LLVMの複雑で手作業で書かれた分岐確率ヒューリスティクスを、データ駆動型で学習可能なモデルに置き換えること。
• プロファイルデータやランタイムインストルメンテーションを一切使用せずに、静的プログラム特徴量のみを用いて未インストルメンテッドプログラムにおける分岐確率を正確に予測できること。
• LLVMコンパイルパイプラインに直接統合可能なスケーラブルで低オーバーヘッドのソリューションを開発すること。
• プロファイルやランタイムインストルメンテーションなしで、実世界のワークロードにおいて測定可能なパフォーマンス向上を示すこと。

提案手法

• オフライントレーニングでは、大規模なインストルメンテッドバイナリのコーパスを用いて、静的特徴量（例：ブロック数、ループ深さ、分岐条件）とPGOメタデータからの真値分岐確率を収集する。
• 勾配ブースティング決定木モデル（XGBoostを用いて）を、これらの静的特徴量に基づいて分岐確率を予測するようにトレーニングし、BranchProbabilityInfoパスにおけるLLVMの手作業で書かれたヒューリスティクスを置き換える。
• モデルはLLVMに新たなコンパイラパスとして埋め込まれ、コンパイル時に静的解析情報のみを用いて分岐ウェイトをアノテートする。
• 特徴工学では、分岐ごとに30以上の静的プログラム特徴量を抽出し、制御フローリレーションシップ、命令数、述語タイプなどを含む。
• 解釈可能性と効率性を確保するため、深層ニューラルネットワークを避けて、デバッグや保守が容易な軽量で解釈可能な決定木を採用する。
• 最終的なモデルはプロダクション環境にデプロイされ、プロファイルオーバーヘッドはゼロで、コンパイル時間への影響も最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 静的特徴量のみを用いて、インストルメンテッドでないプログラムにおける分岐確率を学習モデルが正確に予測できるか？
• RQ2 プロファイルデータを必要とせず、LLVMのBranchProbabilityInfoパスにおける手作業ヒューリスティクスを上回る機械学習モデルを構築できるか？
• RQ3 学習モデルをLLVMコンパイルパイプラインに統合した際のパフォーマンスへの影響は何か？
• RQ4 ESP や VESPA といった分岐確率を予測する既存の手法と比較して、本モデルの精度はどの程度か？
• RQ5 一貫した分岐ウェイトメタデータを提供することで、複数の最適化パスに利益をもたらす統合されたモデルを構築できるか？

主な発見

• プロファイルデータなしでコンパイルする際、いくつかのオープンソースベンチマークで顕著なパフォーマンス向上を達成し、静的予測の有効性を示した。
• コンパイル時間へのオーバーヘッドはほとんどなく、モデル自体以外にメモリフットプリントを追加しない形でLLVMにシームレスに統合された。
• BPIにおける数千行に及ぶ手作業で書かれたC++ヒューリスティクスが、コンパクトで解釈可能な決定木モデルに置き換えられた。
• PGOワークフローからの決定的で真値のラベルを有する大規模なトレーニングデータを活用することで、分岐確率の予測精度が非常に高くなった。
• 未観測のプログラムに対しても一般化がうまくいき、多様なワークロードにわたり一貫した最適化改善を実現した。
• プロキシ指標や強化学習に依存する先行手法と比較して、プロファイルからの直接的でノイズのない真値ラベルを用いることで、本手法は優れた性能を発揮した。