[논문 리뷰] RTLFixer: Automatically Fixing RTL Syntax Errors with Large Language Models

Yun-Da Tsai, Mingjie Liu외 1명|arXiv (Cornell University)|2023. 11. 28.

Natural Language Processing Techniques인용 수 10

한 줄 요약

RTLFixer는 Retrieval-Augmented Generation(RAG)과 ReAct 프롬프팅을 사용하여 LLM으로 RTL Verilog 구문 오류를 자동 수정하며, Verilog 구문 데이터셋에서 98.5%의 구문 오류 해결을 달성하고 여러 벤치마크에서 pass@1을 개선한다.

ABSTRACT

This paper presents RTLFixer, a novel framework enabling automatic syntax errors fixing for Verilog code with Large Language Models (LLMs). Despite LLM's promising capabilities, our analysis indicates that approximately 55% of errors in LLM-generated Verilog are syntax-related, leading to compilation failures. To tackle this issue, we introduce a novel debugging framework that employs Retrieval-Augmented Generation (RAG) and ReAct prompting, enabling LLMs to act as autonomous agents in interactively debugging the code with feedback. This framework demonstrates exceptional proficiency in resolving syntax errors, successfully correcting about 98.5% of compilation errors in our debugging dataset, comprising 212 erroneous implementations derived from the VerilogEval benchmark. Our method leads to 32.3% and 10.1% increase in pass@1 success rates in the VerilogEval-Machine and VerilogEval-Human benchmarks, respectively.

연구 동기 및 목표

• LLM이 생성한 Verilog 코드에서 구문 오류를 줄여야 하는 필요성을 제시한다(관찰된 55%의 구문 오류).
• ReAct와 RAG를 결합한 자동화된 디버깅 프레임워크를 도입하여 구문 오류를 수정한다.
• VerilogEval-syntax를 구축·배포한다. VerilogEval에서 파생된 212개 샘플의 구문오류 데이터셋이다.
• 구문 수정 성공과 다운스트림 기능적 정확성에서 실질적인 개선을 입증한다.
• 벤치마크(VerilogEval, RTLLM) 및 컴파일러 변형에 걸친 일반화 가능성을 평가한다.

제안 방법

• ReAct 프롬프팅을 갖춘 자율 LLM 에이전트를 활용하여 구문 수정 단계를 분해하고 계획한다.
• 검색 강화 생성(RAG)을 도입하여 컴파일러 로그와 인간의 지침을 비매개 변수 메모리로 가져온다.
• 일반적인 구문 오류를 묶고 검색을 위한 전문가 지침을 모아 VerilogEval-syntax를 구성한다.
• VerilogEval, VerilogEval-syntax, RTLLM 벤치마크에서 fix rate와 pass@k 지표를 사용해 평가한다.
• LLM 백본으로 GPT-3.5-turbo를 사용하고(또는 GPT-4를 이용한 애블레이션), 생성 후 규칙 기반 구문 수정기를 적용한다.
• One-shot, ReAct, RAG 구성들을 비교하고 컴파일러 피드백 품질(iverilog, Quartus)을 달리한다.

실험 결과

연구 질문

• RQ1 ReAct 기반의 반복적 추론이 LLM에서 원샷 프롬프팅보다 구문 오류 수정에 유의하게 개선될 수 있는가?
• RQ2 인간 전문가 지침이 포함된 RAG의 통합이 구문 오류 수정의 신뢰성과 성공률을 향상시키는가?
• RQ3 이 접근법은 VerilogEval(VerilogEval, RTLLM) 벤치마크 및 서로 다른 Verilog 컴파일러에서 얼마나 잘 일반화되는가?
• RQ4 컴파일러 피드백 품질이 구문 수정 성능에 미치는 영향은 무엇인가?

주요 결과

• 이 프레임워크는 디버깅 데이터셋에서 구문 오류 해결 성공률 98.5%를 달성한다.
• 구문 오류 해결으로 VerilogEval-Machine에서 pass@1이 32.3%, VerilogEval-Human 벤치마크에서 10.1% 개선된다.
• RTLLM에서 구문 수정 성공률이 73%에서 93%로 향상된다.
• One-shot과 비교하여, ReAct는 Simple, iverilog, Quartus와 같은 다양한 피드백 소스에서 구문 성공률을 최대 약 31%까지 향상시킨다.
• 인간 지도가 포함된 RAG가 구문 수정의 신뢰성을 높이며, 예를 들어 One-shot에서 Quartus로 최대 31.2% 향상, ReAct에서 18.6% 향상이다.
• 컴파일러 피드백 품질(Quartus vs iverilog)을 높일수록 일반적으로 수정 비율이 증가하고, GPT-4는 더 높은 기본 성능을 제공하며 ReAct에서의 추가 이득은 더 적다.