[论文解读] A Graph Deep Learning Framework for High-Level Synthesis Design Space Exploration

Lorenzo Ferretti, Andrea Cini+3 more|arXiv (Cornell University)|Nov 29, 2021

Machine Learning in Materials Science被引用 5

一句话总结

该论文提出 gnn4hls，一种图神经网络框架，通过将 C/C++ 行为描述建模为混合控制流与数据流图，实现对高层次综合（HLS）设计空间探索（DSE）中性能与硬件成本的预测。该框架可实现快速、准确的帕累托最优配置发现，其性能优于传统 DSE 方法，在保持仿真器级精度的同时，推理速度最高快 1000 倍，并可通过微调实现对未见应用的强大可迁移性。

ABSTRACT

The design of efficient hardware accelerators for high-throughput data-processing applications, e.g., deep neural networks, is a challenging task in computer architecture design. In this regard, High-Level Synthesis (HLS) emerges as a solution for fast prototyping application-specific hardware starting from a behavioural description of the application computational flow. This Design-Space Exploration (DSE) aims at identifying Pareto optimal synthesis configurations whose exhaustive search is often unfeasible due to the design-space dimensionality and the prohibitive computational cost of the synthesis process. Within this framework, we effectively and efficiently address the design problem by proposing, for the first time in the literature, graph neural networks that jointly predict acceleration performance and hardware costs of a synthesized behavioral specification given optimization directives. The learned model can be used to rapidly approach the Pareto curve by guiding the DSE, taking into account performance and cost estimates. The proposed method outperforms traditional HLS-driven DSE approaches, by accounting for arbitrary length of computer programs and the invariant properties of the input. We propose a novel hybrid control and data flow graph representation that enables training the graph neural network on specifications of different hardware accelerators; the methodology naturally transfers to unseen data-processing applications too. Moreover, we show that our approach achieves prediction accuracy comparable with that of commonly used simulators without having access to analytical models of the HLS compiler and the target FPGA, while being orders of magnitude faster. Finally, the learned representation can be exploited for DSE in unexplored configuration spaces by fine-tuning on a small number of samples from the new target domain.

研究动机与目标

• 解决硬件加速器在高维、计算昂贵的 HLS 设计空间探索（DSE）中的挑战。
• 通过用学习到的性能与成本预测替代昂贵的仿真，减少对全面综合运行的依赖。
• 通过微调实现对新、未见应用的迁移学习，实现最小化再训练。
• 开发一种可泛化的、与架构无关的框架，支持任意长度的程序，并保持程序不变量。
• 弥合机器学习与 EDA 之间的差距，实现无需人工干预的数据驱动、自动化的 DSE。

提出的方法

• 将 C/C++ 行为描述表示为混合控制流与数据流图，以捕捉程序的结构与语义属性。
• 设计一种新型图神经网络（GNN）架构，从图表示中联合预测性能（如延迟）与硬件成本（如 LUTs、BRAMs）。
• 在多种应用的多样化 HLS 配置上训练 GNN，以学习优化行为的可迁移表征。
• 采用混合图表示，以保持程序不变量，并支持在不同程序结构与长度之间的泛化。
• 通过在少量新应用样本上进行微调实现领域自适应，仅用极少数据即可实现高性能。
• 利用 GNN 的归纳偏差，实现对训练数据之外的泛化，支持对新工作负载的零样本或少样本 DSE。

实验结果

研究问题

• RQ1 在无分析编译器模型或 FPGA 目标细节的情况下，图神经网络能否有效预测 HLS DSE 中的性能与硬件成本？
• RQ2 与现有迁移学习或基于模型的 DSE 方法相比，所提出的 GNN 框架在未见应用和设计空间上的泛化能力如何？
• RQ3 GNN 在多大程度上可替代 DSE 中昂贵的综合运行，同时保持与完整仿真相当的预测精度？
• RQ4 该模型在不同应用类别中的性能表现如何，特别是在深度学习等计算密集型领域？
• RQ5 所学习的 GNN 表征能否在新目标领域上通过极少数据实现有效微调，从而实现在新设计环境中的快速部署？

主要发现

• gnn4hls 框架的预测精度与完整周期 HLS 仿真器相当，推理速度最高快 1000 倍。
• 该模型在多样化应用中表现出强大的泛化能力，包括深度学习关键的线性代数内核，其 ADRS（帕累托前沿平均距离）低于最先进基线。
• 仅对少数新应用样本进行微调即可实现高性能，证实了该框架对未见设计空间的强适应能力。
• 混合控制流与数据流图表示可有效建模任意长度的程序，并保持对准确预测至关重要的语义不变量。
• 与传统基于模型或基于优化的 DSE 策略相比，基于 GNN 的方法在收敛速度与帕累托前沿逼近方面均表现更优。
• 实证评估显示，该方法在基准测试中预测性能方差更低，且在神经处理工作负载中平均精度更高。