[논문 리뷰] High-Level Synthesis Performance Prediction using GNNs: Benchmarking, Modeling, and Advancing

Nan Wu, Hang Yang외 3명|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|2022. 01. 18.

Parallel Computing and Optimization Techniques인용 수 4

한 줄 요약

이 논문은 C/C++ 프로그램의 중간 표현(IR) 그래프로부터 직접 빠르고 정확하며 초기 단계에서 회로 품질을 평가할 수 있도록 하는 새로운 그래프 신경망(GNN) 기반 프레임워크를 제안한다. 중간 표현 그래프 기반의 고수준 합성(HLS) 성능 예측을 위해 계층적 GNN을 도입하여 추론 중 도메인 특화 지식을 추론함으로써, HLS 도구 대비 최대 40배 빠른 예측 속도를 달성하고, 자원 및 타이밍 예측에서 기존 예측기 대비 2배에서 5배 높은 정확도를 확보한다.

ABSTRACT

Agile hardware development requires fast and accurate circuit quality evaluation from early design stages. Existing work of high-level synthesis (HLS) performance prediction usually needs extensive feature engineering after the synthesis process. To expedite circuit evaluation from as earlier design stage as possible, we propose a rapid and accurate performance modeling, exploiting the representation power of graph neural networks (GNNs) by representing C/C++ programs as graphs. The contribution of this work is three-fold. First, we build a standard benchmark containing 40k C synthesizable programs, which includes both synthetic programs and three sets of real-world HLS benchmarks. Each program is implemented on FPGA to generate ground-truth performance metrics. Second, we formally formulate the HLS performance prediction problem on graphs, and propose multiple modeling strategies with GNNs that leverage different trade-offs between prediction timeliness (early/late prediction) and accuracy. Third, we further propose a novel hierarchical GNN that does not sacrifice timeliness but largely improves prediction accuracy, significantly outperforming HLS tools. We apply extensive evaluations for both synthetic and unseen real-case programs; our proposed predictor largely outperforms HLS by up to 40X and excels existing predictors by 2X to 5X in terms of resource usage and timing prediction.

연구 동기 및 목표

• 완전한 HLS 실행 이전의 가장 초기 설계 단계에서 고수준 합성(HLS) 회로의 빠르고 정확한 성능 예측을 가능하게 하기 위해.
• 중간 표현(IR) 그래프 기반의 그래프 신경망(GNN)을 활용하여 예측의 즉시성과 정확성 간의 상충 관계를 해결하기 위해.
• 재현 가능한 평가를 위한 표준화된 벤치마크를 구축하기 위해 40,000개의 C 프로그램과 FPGA 기반으로 실제 구현된 메트릭을 포함한다.
• 성능 오버헤드 없이 추론 중 도메인 지식을 자가 추론하는 새로운 계층적 GNN을 도입하여 EDA 분야의 GNN 모델링을 발전시키기 위해.
• 합성 및 실세계 워크로드를 아우르는 모든 범위에서 기존 HLS 도구 및 기계학습 기반 예측기보다 빠른 예측 속도와 높은 정확도를 확보하기 위해.

제안 방법

• C/C++ 프로그램을 프론트엔드 컴파일 후 추출한 IR 그래프로 표현하여 GNN의 입력으로 활용한다.
• 세 가지 GNN 기반 전략을 제안한다: (1) 가장 이른 시점의 예측을 위한 IR 그래프 기반 표준 GNN; (2) 추론 중에 도메인 지식을 자가 추론하는 지식 통합 GNN; (3) HLS 보조 데이터를 활용해 후기 단계에서 더 정확한 예측을 위한 지식 풍부한 GNN.
• 새로운 계층적 GNN은 두 단계 과정을 수행한다: (1) 자원 유형(DSP, LUT, FF 등)에 대한 노드 수준 분류; (2) 자원 사용량 및 타이밍에 대한 그래프 수준의 회귀.
• 모델은 RGCN 및 PNA 아키텍처를 사용하며, 데이터플로우 그래프 내의 관계 및 구조적 정보를 포괄하는 메시지 전달 메커니즘을 구현한다.
• 도메인 지식은 학습 단계에서 통합되어, 추가적인 특징 공학 또는 런타임 계산 없이도 새로운 설계에 일반화할 수 있도록 한다.
• 프레임워크는 합성 및 실세계 HLS 워크로드를 포함한 40,000개 프로그램의 벤치마크를 기반으로 평가되었으며, 자원 사용량 및 타이밍 예측의 MAPE를 성능 측정 지표로 사용한다.

실험 결과

연구 질문

• RQ1 GNN는 전체 HLS 합성에 의존하지 않고 IR 그래프로부터 빠르고 정확하게 HLS 성능을 예측할 수 있는가?
• RQ2 GNN에 도메인 특화 정보의 다양한 수준을 적용할 경우, 예측의 즉시성과 정확성 간의 상충 관계는 어떻게 변화하는가?
• RQ3 계층적 GNN 아키텍처는 추론 중에 도메인 지식을 자가 추론함으로써 정확도를 향상시키면서도 속도를 저하시키지 않는가?
• RQ4 기존 HLS 도구 및 이전의 기계학습 예측기 대비 제안된 방법은 실세계 응용 프로그램에 대해 얼마나 잘 일반화되는가?
• RQ5 GNN 기반 모델은 자원 및 타이밍 예측에서 기존의 분석 모델 및 기존 기계학습 예측기보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 계층적 GNN 기반 예측기는 실제 응용 프로그램에서 LUT 및 FF 사용량 예측의 MAPE 기준으로 Vitis HLS 대비 최대 40.6배 높은 정확도를 확보한다.
• 지식 통합 기반 접근법은 이전 최고 수준의 GCN 기반 예측기인 IronMan 대비 2.1배에서 5.0배 높은 정확도를 확보한다.
• 실세계 벤치마크에서 PNA 기반의 지식 통합 모델은 DSP에 대해 MAPE 15.20%, LUT에 대해 16.96%, FF에 대해 17.42%, 타이밍에 대해 3.97%로 예측 정확도를 확보하였으며, 이는 HLS의 32.09% 대비 유의미하게 낮은 수준이다.
• 계층적 GNN는 예측 오버헤드 없이도 첫 단계에서 높은 정확도(90.82%의 DSP 분류 정확도)를 확보한다.
• 모델은 합성 워크로드에서 실세계 워크로드로의 일반화가 잘 이루어져 다양한 회로 설계에 대해 강건성과 전이 능력을 입증한다.
• FPGA 기반으로 실제 구현된 메트릭을 포함한 40,000개의 C 프로그램으로 구성된 벤치마크 세트는 향후 EDA 연구를 위한 표준화된 기반을 제공한다.