[論文レビュー] Evaluating LLMs for Hardware Design and Test

Jason Blocklove, Siddharth Garg+2 more|arXiv (Cornell University)|Apr 23, 2024

VLSI and Analog Circuit Testing被引用数 4

ひとこと要約

本論文は、自然言語プロンプトを用いて機能的Verilogモジュールとテストベンチを生成することで、エンドツーエンドのハードウェア設計およびテストにおける最先端のLLM（特にChatGPT-4とChatGPT-3.5）の評価を実施している。LLMがシリコンプロトタイピング（Skywater 130nmプロセスを用いて）で動作する設計を生成できることを示しているが、テストベンチ生成においては一貫して性能が低く、正しさを達成するには頻繁な人間のフィードバックが必要であることを明らかにした。

ABSTRACT

Large Language Models (LLMs) have demonstrated capabilities for producing code in Hardware Description Languages (HDLs). However, most of the focus remains on their abilities to write functional code, not test code. The hardware design process consists of both design and test, and so eschewing validation and verification leaves considerable potential benefit unexplored, given that a design and test framework may allow for progress towards full automation of the digital design pipeline. In this work, we perform one of the first studies exploring how a LLM can both design and test hardware modules from provided specifications. Using a suite of 8 representative benchmarks, we examined the capabilities and limitations of the state-of-the-art conversational LLMs when producing Verilog for functional and verification purposes. We taped out the benchmarks on a Skywater 130nm shuttle and received the functional chip.

研究の動機と目的

• LLMが自然言語の要件仕様から、機能的ハードウェア設計と包括的なテストベンチを自律的に生成できるかどうかを調査すること。
• シミュレーションおよびプロトタイピング後のハードウェア検証を通じて、LLMが生成したVerilogコードおよびテストベンチの信頼性と正しさを評価すること。
• ハードウェア検証タスクにおけるLLMのパフォーマンス向上に、人間のフィードバックが果たす役割を評価すること。
• 再現可能性およびLLM支援EDA分野における今後の研究を促進するため、オープンソースのベンチマーク、ツールチェーンスクリプト、会話ログを提供すること。
• 現在のLLMがハードウェア設計および検証ワークフローにおいて抱える主な失敗モードと制限を特定すること。

提案手法

• 自然言語による仕様を備えた8つの代表的ハードウェアベンチマーク（例：4対1マルチプレクサ、8ビットアダー、FSM、サイコロローラ）のセットを設計した。
• LLMとのフィードバックループを採用：Verilog設計およびテストベンチをプロンプトし、iverilogでコンパイルし、シミュレーションを実行。エラーが発生した場合は、ツールのフィードバックまたは人間のフィードバックを提供した。
• 3段階のフィードバックレベルを適用：フィードバック不要（NFN）、ツールフィードバック（TF）、および持続的エラーに対するシンプルな人間のフィードバック（SHF）。
• ChatGPT-4、ChatGPT-3.5、HuggingChat、Google Bardの各モデルを、複数回にわたる一貫したプロンプトで評価した。
• Tiny Tapeout 3（130nmオープンソースプロセスシャトル）を用いて、最もパフォーマンスの良い設計をシリコンプロトタイピングした。
• 会話ログ、Verilogファイル、スクリプトをすべて収集し、Zenodoにオープンソース化して再現可能性およびベンチマークのための基盤を整えた。

実験結果

リサーチクエスチョン

• RQ1 LLMは、自然言語の要件仕様から直接、正しいおよび合成可能なVerilogコードを生成できるか？
• RQ2 LLMは、機能的正しさを完全に検証できる包括的で正しいテストベンチをどの程度生成できるか？
• RQ3 設計およびテストベンチコードにおけるLLMの誤りを是正するため、ツールフィードバックや人間のフィードバックといった異なるフィードバックメカニズムはどの程度効果的か？
• RQ4 LLMが生成したハードウェアコードおよびテストベンチにおける一般的な失敗モードは何か。また、モデルごとにそれらの失敗モードはどのように異なるか？
• RQ5 LLMが生成した設計は、実際にシリコン上で正しく動作するようにプロトタイピングされ、エンドツーエンドのパイプラインの有効性が確認できるか？

主な発見

• ChatGPT-4は24回の会話のうち12回がシミュレーションに合格し、仕様に準拠していた。そのうち11回はツールフィードバックのみで達成された。
• ChatGPT-4はテストベンチ生成において顕著な困難を示し、24回の会話のうち12回が人間のフィードバックを必要としていた。多くのテストベンチは、FSMにおける状態遷移を適切に検証できていなかった。
• ChatGPT-3.5はより低いパフォーマンスを示し、多くの会話が失敗しており、テストベンチの動作が一貫性がなかったり誤りを含んでいたりするため、非準拠の合格が多数発生した。
• ChatGPT-4が生成したサイコロローラベンチマークは、正しい設計コードにもかかわらず、繰り返し1が続くなど非ランダムな出力を示しており、テストベンチの欠陥が顕在化した。
• プロトタイピング後のハードウェア検証により、すべてのプロトタイピング済み設計が想定通りに動作することが確認され、シミュレーション結果と一致した。これにより、エンドツーエンドのパイプラインの有効性が裏付けられた。
• LLMの実行間で非決定的出力が発生し、テストベンチパターンのための一貫したトレーニングデータの欠如が、信頼性に影響を与える主な制限要因であると特定された。