[論文レビュー] Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation

Nathaniel Pinckney, Christopher Batten+3 more|arXiv (Cornell University)|Aug 20, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、仕様からRTLへの変換タスク、事例内学習（ICL）例、詳細な失敗分類をサポートするようにVerilogEvalベンチマークを拡張している。GPT-4 Turbo や Llama 3.1 405B といった最新のLLMを評価し、仕様からRTLへのタスクで59%のパスレートを達成した。性能はプロンプト工学とモデル固有のチューニングに強く依存している。

ABSTRACT

The application of large-language models (LLMs) to digital hardware code generation is an emerging field, with most LLMs primarily trained on natural language and software code. Hardware code like Verilog constitutes a small portion of training data, and few hardware benchmarks exist. The open-source VerilogEval benchmark, released in November 2023, provided a consistent evaluation framework for LLMs on code completion tasks. Since then, both commercial and open models have seen significant development. In this work, we evaluate new commercial and open models since VerilogEval's original release-including GPT-4o, GPT-4 Turbo, Llama3.1 (8B/70B/405B), Llama3 70B, Mistral Large, DeepSeek Coder (33B and 6.7B), CodeGemma 7B, and RTL-Coder-against an improved VerilogEval benchmark suite. We find measurable improvements in state-of-the-art models: GPT-4o achieves a 63% pass rate on specification-to-RTL tasks. The recently released and open Llama3.1 405B achieves a 58% pass rate, almost matching GPT-4o, while the smaller domain-specific RTL-Coder 6.7B models achieve an impressive 34% pass rate. Additionally, we enhance VerilogEval's infrastructure by automatically classifying failures, introducing in-context learning support, and extending the tasks to specification-to-RTL translation. We find that prompt engineering remains crucial for achieving good pass rates and varies widely with model and task. A benchmark infrastructure that allows for prompt engineering and failure analysis is essential for continued model development and deployment.

研究の動機と目的

• 既存のVerilogコード生成ベンチマークにおける限界、特に事例内学習（ICL）のサポート不足や失敗分析の欠如を是正すること。
• 指令チューニング済みLLMに整合するように、VerilogEvalベンチマークを仕様からRTLへの翻訳タスクへ拡張すること。
• GPT-4 Turbo や Llama 3.1 といった最新の商用およびオープンソースLLMが、コード補完タスクおよび仕様からRTLへのタスクの両方でどのように性能を発揮するかを評価すること。
• コンパイラエラー、ランタイムエラー、論理バグに分類する失敗分類システムを導入し、モデルやプロンプト戦略ごとのエラーの詳細な分析を可能にすること。
• プロンプト工学がモデル性能に顕著な影響を及ぼすことを示し、異なるモデルやタスクにおける影響の違いを明らかにすること。

提案手法

• 元のVerilogEvalベンチマークを、[BEGIN] および [DONE] タグを用いたチャット形式のプロンプトで、仕様からRTLへのプロンプト処理をサポートするように拡張。MBPPと同様の形式を採用。
• コード補完タスクおよび仕様からRTLへのタスクの両方において、最大4組の問題-解決例ペアをプロンプトに埋め込むことで、事例内学習（ICL）を統合。
• データセット管理と評価ロジックを分離するMakefileベースの評価環境を構築し、モデル間でスケーラブルかつ再現可能なかつてのテストを可能にした。
• コンパイラエラー、ランタイムエラー、論理バグに分類する失敗分類パイプラインを実装し、色分けによる視覚的フィードバックを提供。
• 静的および動的解析を用いた自動失敗分類を実装し、モデルおよびプロンプト設定ごとのパス/フェイルレートとエラー種別分布を報告。
• 拡張されたベンチマークを https://github.com/NVlabs/verilog-eval にて公開し、継続的な研究およびモデル開発を支援。

(a) Code Completion Task

実験結果

リサーチクエスチョン

• RQ1 GPT-4 Turbo や Llama 3.1 といった最新の大規模言語モデルは、過去のモデルと比較して、仕様からRTLへのハードウェアコード生成タスクでどの程度の性能を示すか？
• RQ2 事例内学習（ICL）は、異なるLLMおよびタスクにおいてパスレートにどの程度の向上効果をもたらすか？また、モデルアーキテクチャによってその影響はどのように変化するか？
• RQ3 LLMが生成するVerilogコードで最も一般的なエラー種別（例：コンパイラエラー、ランタイムエラー、論理バグ）は何か？また、モデルやプロンプト戦略によってその傾向はどのように変化するか？
• RQ4 オープンソースおよびドメイン特化型LLMは、閉鎖型の最先端モデルと同等の性能をハードウェアコード生成タスクで達成できるか？
• RQ5 プロンプト工学はモデルの挙動にどのように影響を及けるか？また、失敗分類は効果的なプロンプトチューニングを導く上でどのような役割を果たすか？

主な発見

• GPT-4 Turbo は、仕様からRTLへのタスクで59%のパスレートを達成し、過去のモデルを大きく上回り、指令チューニング済みプロンプトにおける優れた一般化性能を示した。
• Llama 3.1 405B は、仕様からRTLへのタスクで58%のパスレートを達成し、GPT-4 Turbo と同等の性能を示し、オープンソースモデルが商業的モデルと同等の競争力を有していることを示した。
• RTL-Coder 6.7B モデルは、仕様からRTLへのタスクで37%のパスレートを達成し、小規模かつドメイン特化型モデルとしての優れた性能を示した。
• 事例内学習（ICL）は、GPT-4 Turbo および Llama 3.1 405B のコード補完タスクで性能向上をもたらしたが、他のモデルでは効果が不均一で、一部のモデルではプロンプト由来のエラーにより性能が低下した。
• 失敗分類の結果、0ショット設定ではコンパイラエラーが主な失敗モードであった。特に Llama 3.1 70B は、endmodule 文を頻繁に省略しており、特定のプロンプトチューニングの必要性が示された。
• モデルやタスクによって性能に顕著な差が見られた。Llama 3.1 70B はICLを適用したコード補完タスクで、endmodule エラーにより性能が低下した一方、GPT-4 Turbo はICL例を増やすことで仕様からRTLへのタスクでわずかな性能低下を示した。

(b) Specification-to-RTL Task