[논문 리뷰] SpecLLM: Exploring Generation and Review of VLSI Design Specification with Large Language Model

Mengming Li, Wenji Fang외 2명|arXiv (Cornell University)|2024. 01. 24.

Machine Learning in Materials Science인용 수 5

한 줄 요약

논문은 LLM(GPT-4)을 사용해 VLSI의 아키텍처 명세를 생성하고 검토하는 방법을 조사하고, 46문서 데이터셋을 구축하며, 처음부터의 생성, RTL-to-spec 변환, HAS/MAS/LAS 수준에서의 결함 인식 기반 검토를 시연한다.

ABSTRACT

The development of architecture specifications is an initial and fundamental stage of the integrated circuit (IC) design process. Traditionally, architecture specifications are crafted by experienced chip architects, a process that is not only time-consuming but also error-prone. Mistakes in these specifications may significantly affect subsequent stages of chip design. Despite the presence of advanced electronic design automation (EDA) tools, effective solutions to these specification-related challenges remain scarce. Since writing architecture specifications is naturally a natural language processing (NLP) task, this paper pioneers the automation of architecture specification development with the advanced capabilities of large language models (LLMs). Leveraging our definition and dataset, we explore the application of LLMs in two key aspects of architecture specification development: (1) Generating architecture specifications, which includes both writing specifications from scratch and converting RTL code into detailed specifications. (2) Reviewing existing architecture specifications. We got promising results indicating that LLMs may revolutionize how these critical specification documents are developed in IC design nowadays. By reducing the effort required, LLMs open up new possibilities for efficiency and accuracy in this crucial aspect of chip design.

연구 동기 및 목표

• HAS, MAS, LAS로 아키텍처 명세의 구조화된 3단계 분류 체계를 정의하여 IC 설계에서 LLM 사용 표준화.
• LLM 연구를 가능하게 하는 아키텍처 명세 데이터셋(≈46 문서) 제작 및 공개.
• 처음부터의 명세 작성 및 RTL-to-spec 변환을 포함하여 아키텍처 명세의 LLM 보조 생성을 탐색.
• LLM 기반 아키텍처 명세 리뷰를 조사하고 결함 유형 및 프롬프트 전략을 식별.
• 실용적 도전 과제를 평가하고 효과적인 LLM 주도 명세 개발 및 리뷰를 위한 방법론 제안.

제안 방법

• HAS, MAS, LAS로의 3단계 아키텍처 명세 분류 체계를 제안하고 형식화한다.
• CPU, SoC, 가속기, 버스, 산술, 암호화를 포괄하는 ≈46문서의 공개 아키텍처 명세 및 관련 매뉴얼 데이터셋을 구성한다.
• LLM 주도 생성을 시연한다: (a) 디자이너가 MAS/LAS를 작성하도록 돕고, (b) RTL/Verilog 코드를 해당 명세로 변환한다.
• 명세에 대한 결함 분류 체계를 정의한다(오탈자, 불일치, 불완전/모호, 조합 회로 루프, 초기화되지 않은 레지스터, 레벨 간 모순).
• 명세 작성 및 변환, 그리고 특정 결함에 대한 문서 검토에서 LLM을 안내하는 프롬프트와 워크플로를 개발한다.
• 두 가지 검토 방법을 비교한다: (i) 전체 파일 검토, (ii) 구역별 검토로 경계 명확성과 결함 탐지 향상.

실험 결과

연구 질문

• RQ1 고수준 디자이너 브리프나 RTL 코드에서 LLM이 MAS/LAS 아키텍처 명세를 생성할 수 있는가?
• RQ2 의미를 보존하면서 RTL 코드를 상세한 아키텍처 명세로 변환할 수 있는가?
• RQ3 HAS, MAS, LAS 전반에 걸친 결함에 대해 LLM이 아키텍처 명세를 얼마나 효과적으로 검토할 수 있는가?
• RQ4 경계 명확성과 결함 탐지를 향상시키는 프롬프트 전략 및 워크플로는 무엇인가?
• RQ5 아키텍처 명세 작업에 LLM을 적용할 때의 실용적 한계와 고려사항은 무엇인가?

주요 결과

• LLMs는 단순 로직 회로에 대한 아키텍처 명세를 생성할 수 있으며, 진행 상황에 따라 더 복잡한 설계로 확장될 가능성이 있다.
• GPT-4는 RTL/Verilog 코드를 아키텍처 명세로 변환할 수 있으며, RTL 입력이 제약을 주고 출력을 안내하는 조건에서 그렇다.
• LLMs는 오탈자 및 불일치 오류와 같은 일반적인 결함을 식별하고 건설적인 개선 제안을 제공할 수 있다.
• 두 가지 검토 방법이 탐구되었다: 전체 파일 검토와 구역별 검토, 후자가 구역별로 더 구체적이고 포괄적인 피드백을 제공했다.
• 구역별 입력을 검토하는 것은 경계 인식 문제를 완화하고 결함 커버리지를 향상시키지만, 일부 경계 문제는 남아 있다.
• 약 46개의 공개적으로 사용 가능한 아키텍처 명세 데이터셋을 컴파일하여 향후 LLM 기반 아키텍처 명세 연구를 지원한다.