[논문 리뷰] Evaluating LLMs for Hardware Design and Test

Jason Blocklove, Siddharth Garg외 2명|arXiv (Cornell University)|2024. 04. 23.

VLSI and Analog Circuit Testing인용 수 4

한 줄 요약

이 논문은 자연어 프롬프트를 사용하여 기능적 Verilog 모듈과 테스트벤치를 생성함으로써 종단 간 하드웨어 설계 및 테스트를 위한 최신 대형 언어 모델(LLM) — 특히 ChatGPT-4와 ChatGPT-3.5 — 의 성능을 평가한다. 실험 결과, LLM은 실사 실험을 통해 검증된 기능성 있는 설계를 생성할 수 있으나, 테스트벤치 생성에서는 끈질리게 성능이 열등하여 정확성을 확보하기 위해 자주 인간의 피드백이 필요하다는 점을 입증한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated capabilities for producing code in Hardware Description Languages (HDLs). However, most of the focus remains on their abilities to write functional code, not test code. The hardware design process consists of both design and test, and so eschewing validation and verification leaves considerable potential benefit unexplored, given that a design and test framework may allow for progress towards full automation of the digital design pipeline. In this work, we perform one of the first studies exploring how a LLM can both design and test hardware modules from provided specifications. Using a suite of 8 representative benchmarks, we examined the capabilities and limitations of the state-of-the-art conversational LLMs when producing Verilog for functional and verification purposes. We taped out the benchmarks on a Skywater 130nm shuttle and received the functional chip.

연구 동기 및 목표

• LLM이 자연어 사양에서 기능적 하드웨어 설계와 포괄적인 테스트벤치를 자율적으로 생성할 수 있는지 조사한다.
• 시뮬레이션과 실리콘 기반 검증을 통해 LLM이 생성한 Verilog 코드와 테스트벤치의 신뢰성과 정확성을 평가한다.
• 하드웨어 검증 작업에서 LLM 성능 향상에 있어 인간 피드백의 역할을 평가한다.
• 재현 가능성을 위해 오픈소스 벤치마크, 툴체인 스크립트, 대화 로그를 제공함으로써 향후 LLM 기반 EDA 연구를 지원한다.
• 현재 LLM의 하드웨어 설계 및 검증 워크플로우에서의 주요 실패 유형과 한계를 규명한다.

제안 방법

• 일반적인 언어로 기술된 8개의 대표적 하드웨어 벤치마크(예: 4:1 MUX, 8비트 애더, FSM, 주사위 롤러)를 설계하여 시험 환경을 구성하였다.
• LLM과 피드백 루프를 적용: Verilog 설계 및 테스트벤치 생성을 요청하고, iverilog로 컴파일하고, 시뮬레이션을 수행하며, 오류가 발생하면 도구 피드백 또는 인간 피드백을 제공하였다.
• 세 가지 피드백 수준을 적용: 오류가 없을 경우(No Feedback Needed, NFN), 도구 피드백(Tool Feedback, TF), 지속적인 오류 발생에 대한 단순 인간 피드백(Simple Human Feedback, SHF).
• ChatGPT-4, ChatGPT-3.5, HuggingChat, Google Bard 등의 모델을 동일한 프롬프트로 반복 실행하여 평가하였다.
• 가장 성능이 뛰어난 설계를 Tiny Tapeout 3를 통해 130nm 오픈소스 제조 셔틀을 이용해 실사 테이프아웃하여 실리콘에서의 기능성을 검증하였다.
• 모든 대화 로그, Verilog 파일, 스크립트를 Zenodo에 공개하여 재현 가능성과 벤치마크를 위한 기반을 마련하였다.

실험 결과

연구 질문

• RQ1 LLM은 자연어 사양에서 직접 정확하고 합성 가능한 Verilog 코드를 생성할 수 있는가?
• RQ2 LLM은 기능적 정확성을 완전히 검증할 수 있는 포괄적이고 정확한 테스트벤치를 어느 정도 생성할 수 있는가?
• RQ3 디자인 및 테스트벤치 코드 오류 수정에 있어 도구 피드백, 인간 피드백 등의 다양한 피드백 메커니즘이 얼마나 효과적인가?
• RQ4 LLM이 생성한 하드웨어 코드 및 테스트벤치에서 가장 흔한 실패 유형은 무엇이며, 이는 모델 간에 어떻게 다를까?
• RQ5 LLM이 생성한 설계는 실사 테이프아웃을 통해 성공적으로 제작되어 하드웨어에서 정상적으로 기능하는가? 이는 종단 간 파이프라인의 타당성을 확인하는 데 기여하는가?

주요 결과

• ChatGPT-4는 24개의 대화 중 12개를 성공적으로 생성하여 시뮬레이션을 통과하고 사양에 부합했으며, 이 중 11개는 도구 피드백만으로도 충분했다.
• ChatGPT-4는 테스트벤치 생성에서 뚜렷한 어려움을 겪었으며, 24개의 대화 중 12개가 인간 피드백이 필요했고, 많은 테스트벤치가 FSM의 상태 전이를 제대로 검증하지 못했다.
• ChatGPT-3.5는 성능이 더 열 劣했으며, 대부분의 대화에서 실패했고, 테스트벤치의 불일관성 또는 오류로 인해 비합리적인 통과 결과가 나왔다.
• ChatGPT-4가 생성한 주사위 롤러 벤치마크는 정확한 설계 코드를 가졌음에도 불구하고 비랜덤 출력(예: 반복되는 1 또는 작은 사이클)을 보여 테스트벤치의 결함을 드러냈다.
• 실사 테스트 결과, 모든 테이프아웃된 설계가 기대한 대로 하드웨어에서 정상적으로 기능함을 확인하였고, 이는 시뮬레이션 결과와 일치하여 전체 파이프라인의 타당성을 검증하였다.
• LLM 런에 따른 비결정적 출력과 테스트벤치 패tern에 대한 일관된 학습 데이터 부족은 신뢰성에 영향을 주는 주요 제약로 규명되었다.