[論文レビュー] Benchmarking Large Language Models for Automated Verilog RTL Code Generation

Shailja Thakur, Baleegh Ahmad+6 more|arXiv (Cornell University)|Dec 13, 2022

Software Testing and Debugging Techniques被引用数 10

ひとこと要約

この論文は、GitHub や Verilog 教科書から収集したデータセットを用いて、微調整された大規模言語モデル（LLM）の自動 Verilog RTL コード生成性能をベンチマークしている。微調整により構文的正しさ（全体で25.9%）と機能的正しさが著しく向上し、商用の Codex モデルでさえも CodeGen-16B モデルに劣る（機能的正しさ 6.5% 対 6.5%）結果となった。これは、ハードウェア記述言語向けにドメイン特化した微調整の価値を示している。

ABSTRACT

Automating hardware design could obviate a significant amount of human error from the engineering process and lead to fewer errors. Verilog is a popular hardware description language to model and design digital systems, thus generating Verilog code is a critical first step. Emerging large language models (LLMs) are able to write high-quality code in other programming languages. In this paper, we characterize the ability of LLMs to generate useful Verilog. For this, we fine-tune pre-trained LLMs on Verilog datasets collected from GitHub and Verilog textbooks. We construct an evaluation framework comprising test-benches for functional analysis and a flow to test the syntax of Verilog code generated in response to problems of varying difficulty. Our findings show that across our problem scenarios, the fine-tuning results in LLMs more capable of producing syntactically correct code (25.9% overall). Further, when analyzing functional correctness, a fine-tuned open-source CodeGen LLM can outperform the state-of-the-art commercial Codex LLM (6.5% overall). Training/evaluation scripts and LLM checkpoints are available: https://github.com/shailja-thakur/VGen.

研究の動機と目的

• 自然言語の要件記述から構文的にも機能的にも正しい Verilog コードを生成できるかどうかを評価すること。
• LLM のトレーニングおよび評価に適した大規模かつ高品質な Verilog データセットの不足を是正すること。
• 問題の難易度に応じて変化する機能的正しさを測定できるよう、テストベンチとコンパイルチェックを組み合わせた包括的な評価フレームワークを設計すること。
• ドメイン特化した Verilog コーパスで微調整したオープンソースおよび商用 LLM の性能を比較すること。
• モデルサイズとトレーニングデータ構成がコード生成品質に与える影響を調査すること。

提案手法

• オープンソースの GitHub リポジトリとデジタル化された Verilog 教科書の PDF を統合し、クリーニングされたコードスニペットを抽出する厳密な前処理を経て、大規模な Verilog トレーニングコーパスを構築した。
• 345M から 16B パラメータの範囲で変動する 5 つの事前学習済み LLM を、洗練された Verilog データセットで微調整し、RTL コード生成に特化させた。
• 難易度が段階的に上昇する 20 種類の多様な Verilog コーディング問題を設計し、各問題に機能的検証用のテストベンチを付随させた。
• 段階的な評価パイプラインを実装した：温度やビームサーチ設定を変えてコード生成を行い、その後、Verilog コンパイルによる構文チェックと、テストベンチ実行による機能的検証を実施した。
• 10 回の生成結果（n=10）をもとに機能的正しさを評価する Pass@n メトリクスを用い、主な評価設定として n=10 を採用した。
• トレーニングデータ構成の影響を評価するためのアブレーションスタディを実施し、GitHub 僅どのデータと、GitHub と教科書データの組み合わせで学習したモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 微調整された LLM は、自然言語の記述から構文的に正しいかつ合成可能な Verilog コードを生成できるか？
• RQ2 モデルサイズ（例：345M から 16B パラメータ）が生成された Verilog コードの品質に与える影響は何か？
• RQ3 ドメイン特化した Verilog データで微調整することで、事前学習済みモデルと比較して機能的正しさが向上するか？
• RQ4 トレーニングデータの構成（例：GitHub 対教科書）がモデルの一般化性能や性能に与える影響は何か？
• RQ5 適切に Verilog 特化データで微調整された場合、オープンソース LLM は Codex のような商用モデルを上回る性能を示せるか？

主な発見

• 洗練された Verilog コーパスで微調整した LLM は、事前学習済みモデルと比較して、生成コードの全体的な構文的正しさを 25.9% まで向上させた。
• 微調整済みの CodeGen-16B モデルは、すべてのテストシナリオで 41.9% の機能的正しさを達成し、非微調整の code-davinci-002 モデル（35.4%）を上回った。
• 最も優れたモデル（CodeGen-16B FT）は、1 プロンプトあたり 10 回の生成結果を出力した際、6.5% の問題でテストベンチを全通過した。これは、機能的正しさにおいて Codex を顕著に上回った。
• GitHub と教科書の両方の Verilog データで微調整した場合、GitHub 僅どのデータでの微調整に比べ、Pass@10 が 1.4 パcent 上昇した。これは、多様で高品質なトレーニングデータの価値を示している。
• 強力な性能を示したものの、一部の複雑な問題（例：LFSR、シフト/ローテート）は依然として困難であり、540 回の生成結果のうち 0〜1 回しかテストを通過しなかった。これは、推論力や表現構築力の限界を示唆している。
• プロンプト設計とテストベンチ設計が評価結果に顕著な影響を与えることが判明した。例えば、リセットタイプの記述が曖昧な問題では、モデル出力が一貫せず、テスト失敗が発生した。