[논문 리뷰] RTLCoder: Outperforming GPT-3.5 in Design RTL Generation with Our Open-Source Dataset and Lightweight Solution

Shang Liu, Wenji Fang외 4명|arXiv (Cornell University)|2023. 12. 14.

Advanced Data Storage Technologies인용 수 9

한 줄 요약

RTLCoder는 7B 오픈소스 LLM과 RTL(Verilog) 데이터셋을 제시하며, RTL 생성 벤치마크에서 GPT-3.5를 능가하고 VerilogEval Machine에서 GPT-4를 심지어 능가하며, 4비트 양자화 후 노트북에서도 실행될 만큼 가볍다.

ABSTRACT

The automatic generation of RTL code (e.g., Verilog) using natural language instructions and large language models (LLMs) has attracted significant research interest recently. However, most existing approaches heavily rely on commercial LLMs such as ChatGPT, while open-source LLMs tailored for this specific design generation task exhibit notably inferior performance. The absence of high-quality open-source solutions restricts the flexibility and data privacy of this emerging technique. In this study, we present a new customized LLM solution with a modest parameter count of only 7B, achieving better performance than GPT-3.5 on all representative benchmarks for RTL code generation. Especially, it outperforms GPT-4 in VerilogEval Machine benchmark. This remarkable balance between accuracy and efficiency is made possible by leveraging our new RTL code dataset and a customized LLM algorithm, both of which have been made fully open-source.

연구 동기 및 목표

• 개방 데이터와 프라이버시를 우선시하면서 자연어로부터의 향상된 RTL (Verilog) 코드 생성을 촉진한다.
• RTL 설계 작업에 탁월한 성능을 갖춘 오픈소스이면서 가벼운 LLM을 개발한다.
• 큰 품질 저하 없이 노트북에서 실행 가능한 양자화된 모델을 제공한다.
• RTL 설계 생성을 위한 추가 연구를 촉진하기 위해 재사용 가능한 오픈 데이터세트를 제공한다.

제안 방법

• RTL 생성을 위해 맞춤화된 7B 오픈소스 LLM을 제안한다.
• RTL Verilog 데이터셋을 새로 만들고 활용하여 RTL 코드 생성을 학습하고 평가한다.
• 모델에 4비트 양자화를 적용하여 4GB 용량의 풋프린트를 달성하되 성능을 유지한다.
• 표준 RTL 생성 작업(VerilogEval Machine 포함)에서 RTLCoder를 GPT-3.5 및 GPT-4와 벤치마크한다.
• 데이터셋과 모델을 공개적으로 배포하여 프라이버시를 보존하는 로컬 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소형 오픈소스 LLM이 자동 RTL(Verilog) 생성 작업에서 GPT-3.5를 능가할 수 있는가?
• RQ2 RTL-특화 미세조정과 전용 데이터셋이 VerilogEval 벤치마크에서 일반-purpose LLM보다 이점을 제공하는가?
• RQ3 실용적이며 노트북 기반 사용에 있어 최소한의 저하로 4비트 양자화된 RTL 생성기가 가능한가?
• RQ4 오픈소스 RTL 데이터셋과 모델이 클라우드 기반 솔루션과 비교해 프라이버시를 보존하는 설계 워크플로를 향상시키는가?],
• RQ5 key_findingsUXS1

주요 결과

• 7B 매개변수 수를 가진 RTLCoder는 연구에 포함된 모든 대표적 RTL 코드 생성 벤치마크에서 GPT-3.5를 능가한다.
• RTLCoder는 또한 VerilogEval Machine 벤치마크에서도 GPT-4를 능가한다.
• 모델은 4비트로 양자화되어 총 용량이 4GB가 되고도 약간의 성능 저하로라도 단일 노트북에서 작동할 수 있다.
• 저자들은 하드웨어 설계 작업의 유연성과 프라이버시를 향상시키기 위해 공개 RTL 코드 데이터셋과 완전한 오픈소스 솔루션을 공개한다.
• 이 접근법은 온-디바이스 RTL 생성에서 정확도와 효율성 사이의 유리한 균형을 보여준다.