[논문 리뷰] BetterV: Controlled Verilog Generation with Discriminative Guidance
BetterV가 7B LLM을 도메인 특화 Verilog 데이터에 대해 미세조정하고 다운스트림 EDA 작업을 안내하기 위해 생성적 구분자를 사용하는 것으로, VerilogEval-machine에서 Verilog 정확도 최첨단을 달성하고 합성 및 검증 작업에서 개선을 이룹니다.
Due to the growing complexity of modern Integrated Circuits (ICs), there is a need for automated circuit design methods. Recent years have seen rising research in hardware design language generation to facilitate the design process. In this work, we propose a Verilog generation framework, BetterV, which fine-tunes the large language models (LLMs) on processed domain-specific datasets and incorporates generative discriminators for guidance on particular design demands. The Verilog modules are collected, filtered and processed from internet to form a clean and abundant dataset. Instruct-tuning methods are specially designed to fine-tune the LLMs to understand the knowledge about Verilog. Furthermore, data are augmented to enrich the training set and also used to train a generative discriminator on particular downstream task, which leads a guidance for the LLMs to optimize the Verilog implementation. BetterV has the ability to generate syntactically and functionally correct Verilog, which can outperform GPT-4 on the VerilogEval benchmark. With the help of task-specific generative discriminator, BetterV can achieve remarkable improvement on various electronic design automation (EDA) downstream tasks, including the netlist node reduction for synthesis and verification runtime reduction with Boolean Satisfiability (SAT) solving.
연구 동기 및 목표
- 현대 IC 설계의 복잡성을 해결하고 HDL 코딩에서 인간 노력을 줄이기 위해 자동 Verilog 생성을 촉진한다.
- LLMs에 Verilog 개념을 가르치기 위한 도메인 특화 명령-조정 파이프라인을 개발하여 heavy prompt engineering 없이 학습한다.
- 데이터 증강과 생성적 구분자를 도입하여 LLM이 다운스트림 EDA 목표를 향해 안내되도록 한다.
- 기능적 정확도, 구문적 정확도, 합성 노드 감소, 검증 런타임 등을 평가한다.
- BetterV가 VerilogEval-machine 벤치마크에서 베이스라인 모델보다 우수하고 다운스트림 작업을 개선할 수 있음을 입증한다.
제안 방법
- 오픈 소스 소스에서 Verilog 데이터를 수집 및 처리하여 모듈 정의와 본문을 포함하는 clean Verilog/Verilog-C 데이터세트를 형성한다.
- V2C 도구를 사용하여 Verilog 자동완성과 Verilog-to-C/C-to-Verilog 번역을 가르치기 위한 도메인 특화 명령-조정 파이프라인을 적용한다.
- 고온 샘플링으로 다양한 Verilog를 생성하고 EDA 도구와의 구문적 정확성을 필터링하여 데이터를 보강한다.
- 작업 특성에 맞춘 속성으로 생성적 구분자를 학습시키고 베이즈 규칙 기반 가중 디코딩으로 LLM 생성을 원하는 특성으로 유도한다.
- 생성적 목표와 판별적 목표를 결합한 하이브리드 손실을 사용하여 LLM과 구분자를 업데이트한다.
- 기능적 정확도, 구문적 정확도, 합성 노드 감소, SAT-검증 시간 감소를 포함한 다수의 EDA 다운스트림 작업에서 평가한다.
실험 결과
연구 질문
- RQ1도메인 특화 명령-조정이 광범위한 프롬프트 엔지니어링 없이 Verilog 이해도와 자동완성을 가능하게 할 수 있는가?
- RQ2작업 특화 생성적 구분자가 다운스트림 EDA 작업을 위한 Verilog 생성 품질을 개선하는가?
- RQ3BetterV가 베이스라인에 비해 기능적 정확도, 합성 효율성 및 검증 시간에 어느 정도 개선을 보여주는가?
주요 결과
- BetterV가 VerilogEval-machine에서 최첨단 성능을 달성하여 pass@1, pass@5, pass@10에서 GPT-4보다 우수하다.
- 구분자 가이드 생성을 통해 기본 BetterV 모델과 CodeLlama 모두 기능적 및 구문적 정확도에서 추가 개선을 이룬다.
- BetterV는 참조 대비 평균 46.52%의 합성 노드 감소 및 BetterV-base 대비 31.68%의 감소를 달성하는 등 상당한 합성 노드 감소를 보여준다.
- BetterV는 참조 대비 최대 22.45%, BetterV-base 대비 13.99%의 검증 SAT 해결 시간 감소를 보인다.
- 구문적 정확도 측면에서 구분자를 사용한 BetterV는 패스@10이 매우 높아(>99%) 생성된 Verilog의 구문적 유효성이 높음을 시사한다.
- 이 방법은 구분자를 특정 하드웨어/디자이너 요구에 맞추어 조정함으로써 다운스트림 작업으로 일반화된다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.