[论文解读] ChipGPT: How far are we from natural language hardware design

Kaiyan Chang, Ying Wang+6 more|arXiv (Cornell University)|May 23, 2023

Ferroelectric and Negative Capacitance Devices被引用 27

一句话总结

ChipGPT 展示了一个四阶段零代码框架，使用大语言模型从自然语言规范生成 Verilog，并具输出管理器和枚举搜索以在不重新训练模型的情况下优化 PPA。

ABSTRACT

As large language models (LLMs) like ChatGPT exhibited unprecedented machine intelligence, it also shows great performance in assisting hardware engineers to realize higher-efficiency logic design via natural language interaction. To estimate the potential of the hardware design process assisted by LLMs, this work attempts to demonstrate an automated design environment that explores LLMs to generate hardware logic designs from natural language specifications. To realize a more accessible and efficient chip development flow, we present a scalable four-stage zero-code logic design framework based on LLMs without retraining or finetuning. At first, the demo, ChipGPT, begins by generating prompts for the LLM, which then produces initial Verilog programs. Second, an output manager corrects and optimizes these programs before collecting them into the final design space. Eventually, ChipGPT will search through this space to select the optimal design under the target metrics. The evaluation sheds some light on whether LLMs can generate correct and complete hardware logic designs described by natural language for some specifications. It is shown that ChipGPT improves programmability, and controllability, and shows broader design optimization space compared to prior work and native LLMs alone.

研究动机与目标

• 探索在不重新训练的情况下，使用大语言模型从自然语言规范生成硬件逻辑设计的可行性。
• 提出一个可扩展的四阶段零代码框架，整合提示管理、输出校正和设计空间搜索。
• 评估通过大语言模型的自然语言硬件设计是否提升可编程性、可控性以及面向 PPA 的芯片设计的设计空间。

提出的方法

• 将规范拆分以将自然语言规范转换为结构化提示。
• 基于模板的提示管理器，使用具接口感知的提示生成 Verilog 代码。
• 输出管理器，利用机器与人类反馈纠正、改进并筛选生成的 Verilog。
• 对生成的设计空间进行穷举搜索，以按目标指标（PPA）选择最佳设计。
• 基于 Design Compiler 的评估，在不同工作负载下评估 PPA 的功耗、面积和延迟。

实验结果

研究问题

• RQ1 RQ1 自然语言方法与传统的敏捷硬件设计方法在可编程性与表达能力方面有何比较？
• RQ2 RQ2 与基线 ChatGPT 及其他敏捷方法（HLS、Chisel）相比，ChipGPT 是否提升 PPA 和代码质量？
• RQ3 RQ3 结果是否对工作负载 variety 和设计复杂度敏感？
• RQ4 RQ4 提示原则（组合、接口模型、后置添加）是否提升生成代码的可靠性？
• RQ5 RQ5 人类反馈是否对设计流程的自动化产生实质性影响？

主要发现

• 相较于 HLS 与 Chisel，自然语言方法显著减少设计描述长度，显示更高的可编程性。
• 采用四阶段框架的 ChipGPT 在各工作负载下相对于基线 ChatGPT 提高了 PPA 和代码质量，修正行数最高提升至 2.01x。
• ChipGPT 展现出改进的可编程性和更广的设计探索空间，较先前的敏捷方法和原生 LLM 有所提升，尽管提升因工作负载而异。
• 提示设计原则（接口模型、后添加、组合）有助于生成 Verilog 的可靠性和正确性。
• 自动化输出管理加穷举搜索是必要的，因为原始 LLM 排名并不始终与基于 PPA 的最优选择对齐；当机器反馈不足时，人类反馈进一步帮助纠正。