[論文レビュー] High-Level Synthesis Performance Prediction using GNNs: Benchmarking, Modeling, and Advancing

Nan Wu, Hang Yang+3 more|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|Jan 18, 2022

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

本論文は、C/C++プログラムの中間表現（IR）グラフから直接、迅速かつ高精度に高水準合成（HLS）回路の品質を推定できる、グラフニューラルネットワーク（GNN）ベースの新規フレームワークを提案する。階層的GNNを用いることで推論時に分野特有の知識を抽出する手法を導入し、HLSツールに比べ最大40倍の高速化を達成するとともに、リソースおよびタイミング予測において、既存の予測手法を2〜5倍の精度で上回る。

ABSTRACT

Agile hardware development requires fast and accurate circuit quality evaluation from early design stages. Existing work of high-level synthesis (HLS) performance prediction usually needs extensive feature engineering after the synthesis process. To expedite circuit evaluation from as earlier design stage as possible, we propose a rapid and accurate performance modeling, exploiting the representation power of graph neural networks (GNNs) by representing C/C++ programs as graphs. The contribution of this work is three-fold. First, we build a standard benchmark containing 40k C synthesizable programs, which includes both synthetic programs and three sets of real-world HLS benchmarks. Each program is implemented on FPGA to generate ground-truth performance metrics. Second, we formally formulate the HLS performance prediction problem on graphs, and propose multiple modeling strategies with GNNs that leverage different trade-offs between prediction timeliness (early/late prediction) and accuracy. Third, we further propose a novel hierarchical GNN that does not sacrifice timeliness but largely improves prediction accuracy, significantly outperforming HLS tools. We apply extensive evaluations for both synthetic and unseen real-case programs; our proposed predictor largely outperforms HLS by up to 40X and excels existing predictors by 2X to 5X in terms of resource usage and timing prediction.

研究の動機と目的

• 完全なHLS実行の前段階である最も初期の設計段階で、HLS回路の高速かつ高精度な性能予測を可能にすること。
• 中間表現（IR）グラフ上でGNNを活用することで、予測の迅速性と精度のトレードオフを解消すること。
• 再現可能な評価を可能にするために、4万件のCプログラムとFPGA実装済みの真値メトリクスを含む標準化されたベンチマークを構築すること。
• 推論時にドメイン知識を自己推論する新規な階層的GNNを導入することで、EDA分野におけるGNNモデリングを前進させること。
• 合成および実世界のワークロードにわたり、従来のHLSツールおよび機械学習ベースの予測手法を上回る予測速度と精度を実現すること。

提案手法

• C/C++プログラムをフロントエンドコンパイル後に抽出されたIRグラフとして表現し、GNNの入力とする。
• 3つのGNNベースの戦略を提案：(1) 最も早い段階での予測を目的とした、即戦力のGNNをIRグラフに適用；(2) 推論時に自己推論する分野特有の知識を統合したGNN；(3) HLS補助データを用いて後段でより高精度な予測を行う知識豊富なGNN。
• 新規な階層的GNNは2段階のプロセスを実行する：(1) リソースタイプ（例：DSP、LUT、FF）のノードレベル分類；(2) リソース使用量およびタイミングのグラフレベル回帰。
• モデルはRGCNおよびPNAアーキテクチャを採用し、データフロー・グラフ内の関係性および構造的情報を捉えるメッセージパッシング機構を備える。
• ドメイン知識は学習段階で統合され、追加の特徴工学的処理や実行時計算を必要とせず、未学習の設計に対しても汎用性を発揮できる。
• ベンチマークとして4万件のプログラム（合成および実世界のHLSワークロードを含む）を用い、リソース使用量およびタイミングのMAPEを指標に性能を評価。

実験結果

リサーチクエスチョン

• RQ1 HLS合成の完全な実行に依存せずに、IRグラフからのGNNによるHLS性能予測は、正確かつ迅速に行えるか？
• RQ2 GNNに異なるレベルの分野特有の情報を組み込む場合、予測の迅速性と精度のトレードオフはどのように変化するか？
• RQ3 階層的GNNアーキテクチャは、推論時に自己で分野知識を推論することで、速度を犠牲にせずに精度を向上させられるか？
• RQ4 HLSツールや先行する機械学習予測手法と比較して、本手法は未学習の実世界アプリケーションにどの程度一般化できるか？
• RQ5 GNNベースのモデルは、従来の解析的モデルおよび既存の機械学習予測手法に比べ、リソースおよびタイミング予測でどの程度優れているか？

主な発見

• 提案された階層的GNNベースの予測手法は、実案件アプリケーションにおけるLUTおよびFF使用量のMAPEにおいて、Vitis HLSを最大40.6倍の精度で上回った。
• 知識統合型アプローチは、先行する最先端のGCNベース予測手法IronManに比べ、2.1〜5.0倍の高い精度を達成した。
• 実世界ベンチマークでは、PNAベースの知識統合型モデルが、DSPで15.20%、LUTで16.96%、FFで17.42%、タイミングで3.97%のMAPEを達成し、HLSの32.09%を大幅に下回った。
• 階層的GNNは、推論オーバーヘッドがゼロであるにもかかわらず、初期段階で高い精度（DSP分類で90.82%）を達成した。
• 合成から実世界ワークロードへの一般化が良好であり、多様な回路設計にわたる堅牢性と転送性を示した。
• FPGA実装済み真値メトリクスを備えた4万件のCプログラムからなるベンチマークスイートは、今後のEDA研究の標準的基盤を提供する。