[논문 리뷰] IronMan: GNN-assisted Design Space Exploration in High-Level Synthesis via Reinforcement Learning

Nan Wu, Yuan Xie외 1명|arXiv (Cornell University)|2021. 02. 16.

Software Engineering Research참고 문헌 18인용 수 8

한 줄 요약

IronMan은 고수준 합성(HLS)에서의 민첩하고 정확하며 빠른 설계 공간 탐색을 가능하게 하기 위해 그래프 신경망(GNN) 기반 성능 예측기(GPP), 강화학습(RL) 기반 설계 공간 탐색 엔진(RLMD), 코드 트랜스포머(CT)를 통합한 엔드 투 엔드 프레임워크이다. 메타휴리스틱 기법과 HLS 도구보다 최대 400배 빠른 성능을 기록하며, DSP 사용량을 2.54배 줄이고 지연 시간을 최대 6배 감소시켰고, 사용자가 지정한 DSP 제약 조건을 완벽하게 충족시키며 유전 알고리즘과 시뮬레이티드 어닐링보다 LUT 절감에서 각각 12.7%와 12.9% 높은 성능을 보였다.

ABSTRACT

Despite the great success of High-Level Synthesis (HLS) tools, we observe several unresolved challenges: 1) the high-level abstraction of programming styles in HLS sometimes conceals optimization opportunities; 2) existing HLS tools do not provide flexible trade-off (Pareto) solutions among different objectives and constraints; 3) the actual quality of the resulting RTL designs is hard to predict. To address these challenges, we propose an end-to-end framework, namelyIronMan. The primary goal is to enable a flexible and automated design space exploration (DSE), to provide either optimal solutions under user-specified constraints, or various trade-offs among different objectives (such as different types of resources, area, and latency). Such DSE either requires tedious manual efforts or is not achievable to attain these goals through existing HLS tools. There are three components in IronMan: 1) GPP, a highly accurate graph-neural-network-based performance and resource predictor; 2) RLMD, a reinforcement-learning-based multi-objective DSE engine that explores the optimal resource allocation strategy, to provide Pareto solutions between different objectives; 3) CT, a code transformer to assist RLMD and GPP, which extracts the data flow graph from original HLS C/C++ and automatically generates synthesizable code with HLS directives. The experimental results show that: 1) GPP achieves high prediction accuracy, reducing prediction errors of HLS tools by 10.9x in resource utilization and 5.7x in timing; 2) RLMD obtains optimal or Pareto solutions that outperform the genetic algorithm and simulated annealing by 12.7% and 12.9%, respectively; 3) IronMan is able to find optimized solutions perfectly matching various DSP constraints, with 2.54x fewer DSPs and up to 6x shorter latency than those of HLS tools while being up to 400x faster than the heuristic algorithms and HLS tools.

연구 동기 및 목표

• 사용자가 지정한 제약 조건 하에서 다수의 목표(예: 면적, 지연 시간, 자원 유형) 간의 민감한 트레이드오프를 탐색할 수 있는 현재 HLS 도구의 한계를 해결하기 위해.
• HLS 설계에서 비정규적인 데이터 경로와 복잡한 루프 구조에 대해 기존 모델의 낮은 예측 정확도 문제를 해결하기 위해.
• 제약 조건 최적화와 파레토 최적 해 발견을 모두 지원하는 자동화된 고정밀도 및 고속 설계 공간 탐색(DSE)을 가능하게 하기 위해.
• 전통적인 HLS 합성 및 구현 루프의 시간 소모를 줄이기 위해, 이를 빠르고 그래프 기반의 예측 및 학습 기반 탐색으로 대체하기 위해.
• 코드 변환, 성능 예측, RL 기반 최적화를 통합한 유일한 프레임워크로서 확장 가능한 엔드 투 엔드 솔루션을 제공하기 위해.

제안 방법

• 코드 트랜스포머(CT)가 C/C++ HLS 코드를 분석하고 데이터 플로우 그래프(DFG)를 추출하여, 후속 처리를 위한 제어 및 데이터 의존성의 구조화된 표현을 가능하게 한다.
• 그래프 신경망(GNN) 기반 성능 예측기(GPP)가 원시 DFG에서 직접 자원 사용량과 타이밍을 예측하며, 전체 HLS 합성 과정이 필요 없이도 높은 정확도를 달성한다.
• 강화학습(RL) 에이전트(RLMD)가 다중목표 최적화 기반 보상에 따라 DFG의 노드에 최적의 지시어 할당(예: 언롤, 파이프라인)을 학습함으로써 DSE를 수행한다.
• RL 에이전트는 탐색과 이용의 균형을 유지하며, GPP와 사용자가 지정한 제약 조건과의 상호작용을 통해 파레토 최적 해를 탐색한다.
• 프레임워크는 엔드 투 엔드로 훈련되며, CT가 DFG를 생성하고, GPP가 빠른 피드백을 제공하며, RLMD는 목표를 충족시키기 위해 지속적으로 지시어 전략을 개선한다.
• RL 에이전트의 피지컬 튜닝을 통해 사용자는 솔루션 품질과 추론 시간 간의 트레이드오프를 조정할 수 있으며, 사용자 맞춤형으로 에피소드 수를 조절할 수 있다.

실험 결과

연구 질문

• RQ1 메타휴리스틱 기법이나 HLS 도구의 전체 합성 과정 없이도 GNN 기반 예측기가 원시 DFG에서 직접 높은 정확도의 성능 예측을 달성할 수 있는가?
• RQ2 강화학습 에이전트가 면적, 지연 시간, 자원 유형을 고려한 다차원 복잡한 설계 공간을 효과적으로 탐색하여 파레토 최적 해를 찾을 수 있는가?
• RQ3 코드 트랜스포머, GNN 예측기, RL 엔진의 통합이 기존 메타휴리스틱 기법이나 상용 HLS 도구보다 더 빠르고 정확한 DSE를 가능하게 하는가?
• RQ4 사용자가 지정한 제약 조건(예: DSP 제한)을 얼마나 잘 충족하면서 자원 사용량과 지연 시간을 최소화할 수 있는가?
• RQ5 비정규적인 데이터 경로와 복잡한 루프 구조를 포함한 다양한 실제 HLS 벤치마크에서 이 프레임워크는 어떻게 확장 가능한가?

주요 결과

• GPP는 기존 HLS 도구 대비 자원 사용량 예측 오차를 10.9배 감소시키고, 타이밍 예측 오차를 5.7배 줄이며, 1초 이내에 원시 DFG에서 높은 정확도를 달성한다.
• 사용자 지정된 DSP 제약 조건 하에서 유전 알고리즘(GA)과 시뮬레이티드 어닐링(SA)에 비해 LUT 절감에서 각각 12.7%와 12.9% 높은 성능을 기록한다.
• IronMan은 40개의 실제 사례 벤치마크에서 97.5%의 경우 사용자가 지정한 DSP 제약 조건을 성공적으로 충족시키며, 피지컬 튜닝을 통해 100%로 향상된다. Vivado HLS 대비 DSP 사용량은 2.54배 줄어든다.
• IronMan은 Vivado HLS 대비 최대 6배 빠른 지연 시간을 기록하며, 이는 DSP 제약 조건 하에서 부분적 언롤로 인한 지연 증가 문제를 해결한 덕분이다.
• 메타휴리스틱 기법과 HLS 도구 대비 최대 400배 빠른 성능을 기록하며, 추론 시간이 몇 초 내로 이루어져 대규모 설계 공간의 신속한 탐색을 가능하게 한다.
• 피지컬 튜닝을 통해 IronMan은 LUT 사용량을 추가로 8.9% 감소시켰으며, 이로 인해 GA와 SA 대비 각각 7.7%와 5.9% 낮은 LUT 활용도를 달성한다.