[论文解读] High-Level Synthesis Performance Prediction using GNNs: Benchmarking, Modeling, and Advancing

Nan Wu, Hang Yang+3 more|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|Jan 18, 2022

Parallel Computing and Optimization Techniques被引用 4

一句话总结

本文提出了一种基于图神经网络（GNN）的新框架，用于高层次综合（HLS）性能预测，能够直接从C/C++程序的中间表示（IR）图中实现快速、准确且早期的电路质量评估。通过引入一种在推理过程中推断领域特定知识的分层GNN，该方法在预测速度上比HLS工具快达40倍，且在资源和时序预测方面，准确率比现有预测器高出2至5倍。

ABSTRACT

Agile hardware development requires fast and accurate circuit quality evaluation from early design stages. Existing work of high-level synthesis (HLS) performance prediction usually needs extensive feature engineering after the synthesis process. To expedite circuit evaluation from as earlier design stage as possible, we propose a rapid and accurate performance modeling, exploiting the representation power of graph neural networks (GNNs) by representing C/C++ programs as graphs. The contribution of this work is three-fold. First, we build a standard benchmark containing 40k C synthesizable programs, which includes both synthetic programs and three sets of real-world HLS benchmarks. Each program is implemented on FPGA to generate ground-truth performance metrics. Second, we formally formulate the HLS performance prediction problem on graphs, and propose multiple modeling strategies with GNNs that leverage different trade-offs between prediction timeliness (early/late prediction) and accuracy. Third, we further propose a novel hierarchical GNN that does not sacrifice timeliness but largely improves prediction accuracy, significantly outperforming HLS tools. We apply extensive evaluations for both synthetic and unseen real-case programs; our proposed predictor largely outperforms HLS by up to 40X and excels existing predictors by 2X to 5X in terms of resource usage and timing prediction.

研究动机与目标

• 在完整HLS执行之前，实现对高层次综合（HLS）电路性能的快速且准确的预测，以支持最早的设计阶段。
• 通过在中间表示（IR）图上应用图神经网络（GNN），缓解预测及时性与准确率之间的权衡。
• 构建一个包含4万款C程序及FPGA实现的基准真实值指标的标准化基准，以支持可复现的评估。
• 通过引入一种在推理过程中推断领域知识的新型分层GNN，推动EDA领域中GNN建模的发展，且不引入性能开销。
• 在合成与真实世界工作负载下，全面超越现有HLS工具和基于机器学习的预测器，在预测速度与准确率方面均表现更优。

提出的方法

• 该方法将C/C++程序表示为前端编译后提取的IR图，作为GNN的输入。
• 提出三种基于GNN的策略：(1) 在IR图上直接使用现成GNN，实现最早预测；(2) 在推理过程中自我推断领域知识的知识注入型GNN；(3) 利用HLS辅助数据进行更后期、更精确预测的知识丰富型GNN。
• 该新型分层GNN采用两阶段流程：首先进行节点级别的资源类型分类（如DSP、LUT、FF），随后进行图级别的资源使用量与时序回归。
• 模型采用RGCN与PNA架构，其消息传递机制能够捕捉数据流图中的关系与结构信息。
• 领域知识在训练过程中注入，使模型能够泛化至未见过的设计，而无需额外的特征工程或运行时计算。
• 该框架在包含合成与真实HLS工作负载的4万款程序基准上进行评估，性能通过资源使用量与时序的MAPE指标衡量。

实验结果

研究问题

• RQ1 GNN能否在不依赖完整HLS综合的情况下，仅从IR图中快速且准确地预测HLS性能？
• RQ2 在GNN中使用不同层次的领域特定信息时，预测及时性与准确率之间的权衡如何？
• RQ3 分层GNN架构是否能在推理过程中自我推断领域知识，从而在不牺牲速度的前提下提升准确率？
• RQ4 与HLS工具和先前的机器学习预测器相比，该方法在未见过的真实世界应用中的泛化能力如何？
• RQ5 基于GNN的模型在资源与时序预测方面，相较于传统分析模型与现有机器学习预测器，其性能优势在多大程度上得以体现？

主要发现

• 所提出的分层GNN预测器在真实应用场景中，对LUT和FF使用量的预测准确率（MAPE）比Vitis HLS高出最多40.6倍。
• 知识注入型方法在准确率上比IronMan（一种先前的SOTA现成GCN预测器）高出2.1至5.0倍。
• 在真实世界基准上，基于PNA的知识注入型模型将MAPE降低至：DSP为15.20%，LUT为16.96%，FF为17.42%，时序为3.97%，显著低于HLS的32.09%。
• 分层GNN即使在最早阶段也实现了高准确率（DSP分类准确率达90.82%），且无任何推理开销。
• 该模型能从合成数据良好泛化至真实世界工作负载，展现出在多样化电路设计中的鲁棒性与可迁移性。
• 包含4万款C程序及FPGA实现真实值指标的基准套件，为未来EDA研究提供了标准化基础。