[论文解读] ChatEDA: A Large Language Model Powered Autonomous Agent for EDA

Zhuolun He, Haoyuan Wu+5 more|arXiv (Cornell University)|Aug 20, 2023

Semiconductor materials and devices被引用 5

一句话总结

ChatEDA 是一个基于大语言模型（LLM）的自主代理，支持通过自然语言与 EDA 工具进行交互，实现从 RTL 到 GDSII 的设计流程自动化。该系统基于微调后的 LLM AutoMage 构建，可自动完成任务规划、脚本生成与执行，通过 EDA 工具 API 实现端到端工作流自动化，在复杂 EDA 任务（如参数调优与约束驱动优化）中表现优于 GPT-4。

ABSTRACT

The integration of a complex set of Electronic Design Automation (EDA) tools to enhance interoperability is a critical concern for circuit designers. Recent advancements in large language models (LLMs) have showcased their exceptional capabilities in natural language processing and comprehension, offering a novel approach to interfacing with EDA tools. This research paper introduces ChatEDA, an autonomous agent for EDA empowered by an LLM, AutoMage, complemented by EDA tools serving as executors. ChatEDA streamlines the design flow from the Register-Transfer Level (RTL) to the Graphic Data System Version II (GDSII) by effectively managing task decomposition, script generation, and task execution. Through comprehensive experimental evaluations, ChatEDA has demonstrated its proficiency in handling diverse requirements, and our fine-tuned AutoMage model has exhibited superior performance compared to GPT-4 and other similar LLMs.

研究动机与目标

• 为解决传统 EDA 工具交互方式（如使用 TCL 等脚本语言）带来的复杂性与低效性。
• 使电路设计师能够通过自然语言与 EDA 工具交互，无需手动编写脚本。
• 开发一种自主代理，利用大语言模型实现从任务规划、脚本生成到执行的端到端 EDA 工作流自动化。
• 通过在领域特定语料上进行指令微调，提升大语言模型在 EDA 特定任务中的表现。
• 证明微调后的 LLM 可在 EDA 自动化任务中超越通用模型（如 GPT-4）的性能表现。

提出的方法

• ChatEDA 使用 AutoMage——一个在 EDA 领域数据上进行微调的大语言模型——作为核心控制器，负责自然语言理解与任务分解。
• 系统采用三阶段工作流：(1) 通过自然语言理解进行任务规划，(2) 使用 EDA 工具 API 生成 Python 脚本，(3) 在目标 EDA 平台执行生成的脚本。
• AutoMage 通过在精选的 EDA 工作流语料上进行指令微调进行训练，显著提升了将自然语言映射为可执行 EDA 操作的能力。
• 该框架通过程序化 API 与 OpenROAD 和 iEDA 等 EDA 工具集成，实现从 RTL 到 GDSII 流程的完全自动化。
• 采用自反馈机制，基于 WNS 和 TNS 等评估指标，迭代优化参数设置。
• 评估包括在参数调优、时钟周期最小化与约束验证等任务上与 GPT-4 的对比测试。

实验结果

研究问题

• RQ1 微调后的 LLM 是否能有效理解自然语言指令，并将其映射为可执行的 EDA 工作流？
• RQ2 基于 LLM 的代理是否能在复杂 EDA 自动化任务中超越通用 LLM（如 GPT-4）？
• RQ3 指令微调在多大程度上可提升 LLM 在 EDA 领域特定任务中的性能？
• RQ4 该代理是否能完全自主地规划、生成并执行多阶段 EDA 流程，无需人工干预？
• RQ5 该代理在解决基于约束的 EDA 问题（如寻找最小有效时钟周期）方面有多高效？

主要发现

• ChatEDA 仅通过自然语言输入即成功实现了从 RTL 到 GDSII 的完整设计流程自动化，完全消除了手动编写脚本的需求。
• 微调后的 LLM AutoMage 在多种任务中生成的 EDA 脚本在正确性与效率上均优于 GPT-4。
• 在时钟周期最小化任务中，AutoMage 成功识别出最小有效时钟周期，通过自反馈与指标评估机制实现，而 GPT-4 未能生成有效解决方案。
• 该代理在参数调优任务中表现稳健，如核心利用率、密度与 TNS 结束百分比的优化，均实现了正确脚本生成与执行。
• AutoMage 在基于约束的 EDA 问题中表现优异，包括对 WNS（负时序余量）的正确验证，确保时序收敛。
• 该框架在真实 EDA 工作流中表现有效，证明 LLM 可通过可靠微调，作为复杂 EDA 工具链的智能控制器。