[논문 리뷰] ChipGPT: How far are we from natural language hardware design

Kaiyan Chang, Ying Wang외 6명|arXiv (Cornell University)|2023. 05. 23.

Ferroelectric and Negative Capacitance Devices인용 수 27

한 줄 요약

ChipGPT는 자연어 명세로 Verilog를 생성하기 위해 LLM을 사용하는 네 단계의 제로 코드 프레임워크를 보여주며, 출력 관리자와 열거식 탐색으로 모델 재훈련 없이 PPA를 최적화합니다.

ABSTRACT

As large language models (LLMs) like ChatGPT exhibited unprecedented machine intelligence, it also shows great performance in assisting hardware engineers to realize higher-efficiency logic design via natural language interaction. To estimate the potential of the hardware design process assisted by LLMs, this work attempts to demonstrate an automated design environment that explores LLMs to generate hardware logic designs from natural language specifications. To realize a more accessible and efficient chip development flow, we present a scalable four-stage zero-code logic design framework based on LLMs without retraining or finetuning. At first, the demo, ChipGPT, begins by generating prompts for the LLM, which then produces initial Verilog programs. Second, an output manager corrects and optimizes these programs before collecting them into the final design space. Eventually, ChipGPT will search through this space to select the optimal design under the target metrics. The evaluation sheds some light on whether LLMs can generate correct and complete hardware logic designs described by natural language for some specifications. It is shown that ChipGPT improves programmability, and controllability, and shows broader design optimization space compared to prior work and native LLMs alone.

연구 동기 및 목표

• LLMs를 재훈련 없이 자연어 명세에서 하드웨어 로직 설계를 생성하는 타당성을 탐색합니다.
• 프롬프트 관리, 출력 보정, 설계 공간 탐색을 통합하는 확장 가능한 네 단계 제로 코드 프레임워크를 제안합니다.
• LLMs를 통한 자연어 하드웨어 설계가 PPA 인식 칩 설계에서 프로그래밍 가능성, 제어성 및 설계 공간을 개선하는지 평가합니다.

제안 방법

• 자연어 명세를 구조화된 프롬프트로 변환하기 위한 명세 분할.
• 인터페이스 인식 프롬프트로 Verilog 코드를 생성하는 템플릿 기반 프롬프트 관리자.
• 기계 및 인간 피드백을 사용해 생성된 Verilog를 수정, 정제, 필터링하는 출력 관리자.
• 생성된 설계 공간에서 대상 메트릭(PPA)에 따라 최적 설계를 선택하기 위한 열거식 탐색.
• PPAs across workloads에 대해 전력, 면적 및 지연을 평가하는 설계 컴파일러 기반 평가

실험 결과

연구 질문

• RQ1 RQ1 자연어 기반 방법이 프로그래밍 가능성과 표현력 측면에서 전통적인 애자일 하드웨어 설계 방법과 어떻게 비교되는가?
• RQ2 RQ2 ChipGPT가 기초 ChatGPT 및 다른 애자일 방법(HLS, Chisel)과 비교해 PPA 및 코드 품질을 개선하는가?
• RQ3 RQ3 워크로드 다양성과 설계 복잡도에 결과가 민감한가?
• RQ4 RQ4 프롬프트 원칙(구성, 인터페이스 모델, 후속 추가)이 생성된 코드의 건전성에 기여하는가?
• RQ5 RQ5 인간 피드백이 설계 흐름의 자동화에 실질적으로 영향을 미치는가?

주요 결과

• 자연어 기반 방법은 HLS 및 Chisel과 비교해 설계 설명 길이를 대폭 감소시켜 더 높은 프로그래밍 가능성을 시사합니다.
• 네 단계 프레임워크를 갖춘 ChipGPT는 전통적 ChatGPT 대비 워크로드 전반에서 PPA와 코드 품질을 향상시키며, 수정된 행의 최대 2.01배 품질 향상을 보였습니다.
• ChipGPT는 이전의 애자일 방법 및 네이티브 LLM 대비 프로그래밍 가능성 및 더 넓은 설계 탐색 공간을 보여주지만, 이득은 워크로드에 따라 다릅니다.
• 프롬프트 설계 원칙(인터페이스 모델, 후추 추가, 구성)이 생성된 Verilog의 건전성과 정확성에 기여합니다.
• 자동 출력 관리와 열거식 탐색이 필요합니다. 순수 LLM 순위가 항상 PPA 기반 최적 선택과 일치하지 않으므로 인간 피드백이 기계 피드백이 불충분할 때 보정에 더 도움이 됩니다.