[논문 리뷰] HDLdebugger: Streamlining HDL debugging with Large Language Models

Xufeng Yao, Haoyang Li외 6명|arXiv (Cornell University)|2024. 03. 18.

Machine Learning and Algorithms인용 수 4

한 줄 요약

HDLdebugger는 하드웨어 디자인 언어(HDL) 디버깅을 간소화하기 위해 역공학을 통한 합성 데이터 생성, 코드 및 문서를 위한 검색 증강 검색 엔진, 그리고 자가 지시적 추론과 검색 증강 학습을 통합한 미세조정 방법을 활용하는 새로운 LLM 기반 프레임워크입니다. 이 프레임워크는 산업 수준의 HDL 디버깅 작업에서 최고 성능을 기록하는 81.93%의 통과율을 달성하며, 13개의 최신 기술(SOTA) LLM 기반 모델을 크게 앞서며 뛰어난 성능을 보입니다.

ABSTRACT

In the domain of chip design, Hardware Description Languages (HDLs) play a pivotal role. However, due to the complex syntax of HDLs and the limited availability of online resources, debugging HDL codes remains a difficult and time-intensive task, even for seasoned engineers. Consequently, there is a pressing need to develop automated HDL code debugging models, which can alleviate the burden on hardware engineers. Despite the strong capabilities of Large Language Models (LLMs) in generating, completing, and debugging software code, their utilization in the specialized field of HDL debugging has been limited and, to date, has not yielded satisfactory results. In this paper, we propose an LLM-assisted HDL debugging framework, namely HDLdebugger, which consists of HDL debugging data generation via a reverse engineering approach, a search engine for retrieval-augmented generation, and a retrieval-augmented LLM fine-tuning approach. Through the integration of these components, HDLdebugger can automate and streamline HDL debugging for chip design. Our comprehensive experiments, conducted on an HDL code dataset sourced from Huawei, reveal that HDLdebugger outperforms 13 cutting-edge LLM baselines, displaying exceptional effectiveness in HDL code debugging.

연구 동기 및 목표

• 희소하고 전용인 데이터셋으로 인해 하드웨어 코드에서 LLM의 일반화 능력이 떨어지고, HDL 디버깅 자원이 부족한 문제를 해결하기 위해.
• 다양하고 예측할 수 없는 HDL 버그에 대응할 수 없는 템플릿 기반 및 히ュ리스틱 기반 디버깅 방법의 한계를 극복하기 위해.
• 자료 부족 문제로 인해 하드웨어 분야에서 LLM을 효과적으로 활용할 수 있는 확장 가능한 자동화된 HDL 디버깅 파이프라인을 개발하기 위해.
• 미세조정 과정에서 검색 증강 생성과 자가 지시적 추론을 통합하여 LLM의 HDL 디버깅 성능을 향상시키기 위해.

제안 방법

• HDL 디버깅 데이터는 역공학을 통해 생성됩니다: 정상적인 HDL 코드를 수정하여 합성된 버그가 있는 버전을 생성하고, 컴파일을 통해 오류 메시지를 추출하여 레이블이 부여된 데이터셋을 구성합니다.
• 이중 검색 메커니즘이 구현됩니다: 문서 RAG는 관련 내부 HDL 문서를 검색하고, 코드 RAG는 합성 코드 데이터베이스에서 유사한 버그 패턴을 검색합니다.
• 검색 증강 학습 기반 LLM 미세조정 방법은 검색된 컨텍스트(문서 및 코드)와 자가 지시적 사고 생성을 통합하여 추론 능력과 복구 정확도를 향상시킵니다.
• 프레임워크는 내부 HDL 문서와 합성된 버그가 있는 코드를 모두 인덱싱한 검색 엔진을 활용하여 추론 시 효율적이고 컨텍스트 기반의 검색을 가능하게 합니다.
• 미세조정은 표준 언어 모델링 손실과 검색 인식형 대비 목적함수를 조합한 하이브리드 손실을 사용하여 모델 출력을 검색된 컨텍스트와 일치시킵니다.
• 시스템은 화웨이에서 제공한 실제 산업용 HDL 데이터셋을 기반으로 평가되어 실제 산업 디버깅 시나리오의 현실적인 기준을 확보합니다.

실험 결과

연구 질문

• RQ1 역공학을 통한 합성 데이터 생성이 레이블이 부여된 HDL 디버깅 예제의 부족 문제를 효과적으로 해결할 수 있는가?
• RQ2 표준 프롬프팅 또는 일반적인 미세조정 대비 검색 증강 생성이 HDL 디버깅에서 LLM 성능을 얼마나 향상시키는가?
• RQ3 검색 증강 학습과 자가 지시적 추론을 통합함으로써 복잡하고 패턴 기반이 아닌 HDL 버그를 디버깅할 수 있는 모델의 능력은 어떻게 향상되는가?
• RQ4 검색 증강 학습 기반 LLM 프레임워크는 실제 산업 환경의 HDL 디버깅 작업에서 기존의 SOTA LLM 및 특화된 하드웨어 모델인 VeriGen과 RTLFixer를 능가할 수 있는가?

주요 결과

• HDLdebugger는 산업 수준의 HDL 디버깅 작업에서 81.93%의 통과율을 기록하며, GPT-4, RTLFixer, VeriGen을 포함한 13개의 SOTA LLM 기반 모델을 크게 앞섭니다.
• 자기 지시적 추론과 함께 검색 증강 학습 기반의 미세조정 전략은 환상적 출력을 줄이고, 특히 패턴 기반이 아닌 복잡한 버그의 경우 논리적 일관성을 향상시킵니다.
• 역공학을 통한 합성 데이터 생성은 정확한 오류 메시지를 포함한 다양하고 현실적인 HDL 버그를 효과적으로 생성하여, 실제 데이터가 제한된 상황에서도 고성능 모델의 미세조정을 가능하게 합니다.
• 문서 RAG와 코드 RAG로 구성된 이중 검색 메커니즘은 컨텍스트의 관련성을 향상시켜, 검색 기반 미리 설정되지 않은 기반 모델 대비 통과율을 2.5배 향상시켰습니다.
• HDLdebugger는 사전 정의된 템플릿이나 히ュ리스틱에 의존하지 않고도 예측할 수 없는 HDL 패턴으로의 일반화 능력을 보이며, 이는 강력한 유연성을 시사합니다.
• 프레임워크는 산업 현장에서 디버깅 시간과 노력을 줄여주며, EDA 및 칩 설계 툴체인에 통합될 잠재력이 매우 높습니다.