[論文レビュー] ChatEDA: A Large Language Model Powered Autonomous Agent for EDA

Zhuolun He, Haoyuan Wu+5 more|arXiv (Cornell University)|Aug 20, 2023

Semiconductor materials and devices被引用数 5

ひとこと要約

ChatEDA は、RTL から GDSII への設計フローにおける EDA ツールとの自然言語インタラクションを可能にする、LLM ベースの自律的エージェントです。微調整された LLM、AutoMage によって駆動され、EDA ツールの API を介してタスク計画、スクリプト生成、実行を自動化します。パrameterチューニングや制約駆動最適化を含む複雑な EDA タスクにおいて、GPT-4 を上回る性能を発揮します。

ABSTRACT

The integration of a complex set of Electronic Design Automation (EDA) tools to enhance interoperability is a critical concern for circuit designers. Recent advancements in large language models (LLMs) have showcased their exceptional capabilities in natural language processing and comprehension, offering a novel approach to interfacing with EDA tools. This research paper introduces ChatEDA, an autonomous agent for EDA empowered by an LLM, AutoMage, complemented by EDA tools serving as executors. ChatEDA streamlines the design flow from the Register-Transfer Level (RTL) to the Graphic Data System Version II (GDSII) by effectively managing task decomposition, script generation, and task execution. Through comprehensive experimental evaluations, ChatEDA has demonstrated its proficiency in handling diverse requirements, and our fine-tuned AutoMage model has exhibited superior performance compared to GPT-4 and other similar LLMs.

研究の動機と目的

• TCL などのスクリプト言語による従来の EDA ツールとの対話の複雑さと非効率性を解消すること。
• 回路設計者がスクリプトの手動作成を避け、自然言語で EDA ツールと対話できるようにすること。
• LLM を用いて、タスク計画、スクリプト生成、実行をエンド・ツー・エンドで行う自律的エージェントの開発。
• ドメイン固有のコーパスを用いた指示微調整により、LLM の EDA 特化タスクにおける性能を向上させること。
• 微調整された LLM が、GPT-4 のような汎用モデルを上回る EDA 自動化タスクの遂行が可能であることを実証すること。

提案手法

• ChatEDA は、EDA 特化データで微調整された大規模言語モデルである AutoMage を、自然言語理解とタスク分解の中心制御装置として使用する。
• 本システムは三段階のワークフローを実行する：(1) 自然言語解釈によるタスク計画、(2) EDA ツール API を用いた Python スクリプト生成、(3) 生成されたスクリプトをターゲット EDA プラットフォームで実行。
• AutoMage は、収集された EDA ワークフローのコーパスを用いた指示微調整により訓練され、自然言語を実行可能な EDA 操作にマッピングする能力が向上する。
• 本フレームワークは、OpenROAD や iEDA などの EDA ツールと、プログラミング API を介して統合され、RTL から GDSII へのフローの完全自動化が可能になる。
• WNS や TNS といった評価指標に基づき、自己フィードバック機構を用いてパrameter 設定を繰り返し最適化する。
• GPT-4 とのベンチマーク評価を実施し、パrameter チューニング、クロック周期最小化、制約検証などのタスクを対象とする。

実験結果

リサーチクエスチョン

• RQ1 微調整された LLM は、自然言語の指示を的確に解釈し、実行可能な EDA ワークフローにマッピングできるか？
• RQ2 LLM ベースのエージェントは、GPT-4 のような汎用 LLM よりも、複雑な EDA 自動化タスクにおいて優れた性能を発揮できるか？
• RQ3 指示微調整は、EDA 特化ドメインにおける LLM の性能をどの程度向上できるか？
• RQ4 人為的介入なしに、エージェントが自律的かつ一連のステップを経て EDA フローを計画・生成・実行できるか？
• RQ5 制約ベースの EDA 問題、例えば最小有効クロック周期の特定において、エージェントはどの程度効果的か？

主な発見

• ChatEDA は、手動スクリプト作成を一切不要にし、自然言語入力のみで RTL から GDSII への設計フローを完全に自動化した。
• 微調整された LLM、AutoMage は、多様なタスクにおいて、GPT-4 よりも正確で効率的な EDA スクリプトを生成する点で優れている。
• クロック周期最小化タスクにおいて、AutoMage は自己フィードバックと指標評価を用いて最小の有効クロック周期を正しく特定したが、GPT-4 は正常な解決策を生成できなかった。
• エージェントは、コア利用率、密度、TNS 終了パcent の最適化などのパrameter チューニングタスクにおいて、正確なスクリプト生成と実行を示し、高い性能を発揮した。
• AutoMage は、タイミングクロージャーの WNS（ワイヤ負スラック）検証を正しく処理するなど、制約ベースの EDA 問題において優れた結果を達成した。
• 本フレームワークは、実世界の EDA ワークフローにおいて有効であることが実証され、LLM が複雑な EDA ツールチェーンの知的制御装置として信頼性高く微調整可能であることが示された。