[논문 리뷰] ChatEDA: A Large Language Model Powered Autonomous Agent for EDA

Zhuolun He, Haoyuan Wu외 5명|arXiv (Cornell University)|2023. 08. 20.

Semiconductor materials and devices인용 수 5

한 줄 요약

ChatEDA는 RTL-to-GDSII 설계 플로우에서 EDA 도구와 자연어로 상호작용할 수 있도록 해주는 LLM 기반 자율 에이전트입니다. 미세튜닝된 LLM인 AutoMage에 기반하여 작업 계획 수립, 스크립트 생성, 그리고 EDA 도구 API를 통한 실행을 자동화하며, 파arameter 튜닝 및 제약 기반 최적화를 포함한 복잡한 EDA 작업에서 GPT-4를 능가합니다.

ABSTRACT

The integration of a complex set of Electronic Design Automation (EDA) tools to enhance interoperability is a critical concern for circuit designers. Recent advancements in large language models (LLMs) have showcased their exceptional capabilities in natural language processing and comprehension, offering a novel approach to interfacing with EDA tools. This research paper introduces ChatEDA, an autonomous agent for EDA empowered by an LLM, AutoMage, complemented by EDA tools serving as executors. ChatEDA streamlines the design flow from the Register-Transfer Level (RTL) to the Graphic Data System Version II (GDSII) by effectively managing task decomposition, script generation, and task execution. Through comprehensive experimental evaluations, ChatEDA has demonstrated its proficiency in handling diverse requirements, and our fine-tuned AutoMage model has exhibited superior performance compared to GPT-4 and other similar LLMs.

연구 동기 및 목표

• TCL과 같은 스크립팅 언어를 통한 전통적인 EDA 도구 상호작용의 복잡성과 비효율성을 해결하기 위해.
• 회로 설계자가 스크립트 수작업 없이 자연어를 통해 EDA 도구와 상호작용할 수 있도록 하기 위해.
• LLM을 활용해 작업 계획 수립, 스크립트 생성, 그리고 실행을 종단 간(end-to-end)으로 수행하는 자율 에이전트를 개발하기 위해.
• 도메인 특화 코퍼스를 활용한 지시 훈련을 통해 LLM의 EDA 전용 작업 성능을 향상시키기 위해.
• 미세튜닝된 LLM이 GPT-4와 같은 일반 목적 모델을 초월해 EDA 자동화 작업에서 뛰어난 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• ChatEDA는 EDA 전용 데이터로 미세튜닝된 대규모 언어 모델인 AutoMage를 사용하여 자연어 이해 및 작업 분해의 중심 제어기로 활용합니다.
• 시스템은 세 단계 워크플로우를 수행합니다: (1) 자연어 해석을 통한 작업 계획 수립, (2) EDA 도구 API를 사용한 Python 스크립트 생성, (3) 대상 EDA 플랫폼에서 생성된 스크립트 실행.
• AutoMage는 EDA 워크플로우의 정제된 코퍼스를 활용한 지시 훈련을 통해 자연어를 실행 가능한 EDA 작업으로 매핑하는 능력을 향상시킵니다.
• OpenROAD 및 iEDA와 같은 EDA 도구는 프로그래밍 가능한 API를 통해 통합되어 RTL-to-GDSII 플로우의 완전한 자동화를 가능하게 합니다.
• WNS 및 TNS와 같은 평가 지표를 기반으로 반복적으로 매개변수 설정을 개선하기 위해 자기 피드백 메커니즘이 적용됩니다.
• 평가 과정에서는 파arameter 튜닝, 클럭 주기 최소화, 제약 조건 검증과 같은 작업에서 GPT-4와의 벤치마킹이 포함됩니다.

실험 결과

연구 질문

• RQ1 미세튜닝된 LLM은 자연어 지시를 효과적으로 해석하고 실행 가능한 EDA 워크플로우로 매핑할 수 있는가?
• RQ2 LLM 기반 에이전트는 복잡한 EDA 자동화 작업에서 GPT-4와 같은 일반 목적 LLM을 능가할 수 있는가?
• RQ3 지시 훈련을 통해 LLM의 성능이 EDA 전용 도메인에서 얼마나 향상될 수 있는가?
• RQ4 사용자 간섭 없이 에이전트가 다단계 EDA 플로우를 자율적으로 계획하고 생성하며 실행할 수 있는가?
• RQ5 제약 기반 EDA 문제, 예를 들어 최소 유효 클럭 주기를 찾는 데에 에이전트는 얼마나 효과적인가?

주요 결과

• ChatEDA는 수동 스크립팅이 전혀 필요 없이 오직 자연어 입력만으로 전체 RTL-to-GDSII 설계 플로우를 자동화하는 데 성공했습니다.
• 미세튜닝된 LLM인 AutoMage는 다양한 작업에서 정확하고 효율적인 EDA 스크립트 생성에서 GPT-4를 능가했습니다.
• 클럭 주기 최소화 작업에서 AutoMage는 자기 피드백과 지표 평가를 통해 가장 작은 유효 클럭 주기를 정확히 식별했고, GPT-4는 작동 가능한 솔루션을 도출하지 못했습니다.
• 에이전트는 코어 활용도, 밀도, TNS 종료 백분율 최적화와 같은 파라미터 튜닝 작업에서 정확한 스크립트 생성과 실행을 통해 뛰어난 성능을 보였습니다.
• AutoMage는 WNS(와이어 음수 슬래시) 검증을 포함한 제약 기반 EDA 문제에서 뛰어난 결과를 달성했으며, 타임링크 클로징에 대해 정확하게 처리했습니다.
• 프레임워크는 실제 EDA 워크플로우에서 효과적임을 입증했으며, LLM이 복잡한 EDA 툴체인의 지능형 제어기로 신뢰성 있게 미세튜닝될 수 있음을 보여줍니다.