[論文レビュー] RTLCoder: Outperforming GPT-3.5 in Design RTL Generation with Our Open-Source Dataset and Lightweight Solution

Shang Liu, Wenji Fang+4 more|arXiv (Cornell University)|Dec 14, 2023

Advanced Data Storage Technologies被引用数 9

ひとこと要約

RTLCoder は7BのオープンソースLLMと新しいRTLデータセットを提供。RTL生成ベンチマークでGPT-3.5を上回り、VerilogEval MachineではGPT-4をも超える可能性がある。4ビット量子化後もノートパソコンで動作可能なほど軽量。

ABSTRACT

The automatic generation of RTL code (e.g., Verilog) using natural language instructions and large language models (LLMs) has attracted significant research interest recently. However, most existing approaches heavily rely on commercial LLMs such as ChatGPT, while open-source LLMs tailored for this specific design generation task exhibit notably inferior performance. The absence of high-quality open-source solutions restricts the flexibility and data privacy of this emerging technique. In this study, we present a new customized LLM solution with a modest parameter count of only 7B, achieving better performance than GPT-3.5 on all representative benchmarks for RTL code generation. Especially, it outperforms GPT-4 in VerilogEval Machine benchmark. This remarkable balance between accuracy and efficiency is made possible by leveraging our new RTL code dataset and a customized LLM algorithm, both of which have been made fully open-source.

研究の動機と目的

• 自然言語からのRTL（Verilog）コード生成の改善を動機づけるとともに、オープンデータとプライバシーを優先する。
• RTL設計タスクに適したオープンソースで軽量なLLMを高性能で開発する。
• 大幅な品質低下を伴わずノートパソコンで動作する量子化モデルを提供する。
• 設計RTL生成研究を促進する再利用可能なオープンデータセットを提供する。

提案手法

• RTL生成に特化したカスタマイズ済み7B Open-Source LLMを提案する。
• RTL Verilogデータセットを新規作成・活用してRTLコード生成を訓練・評価する。
• 4-bit量子化を適用してモデルの総サイズを4GBに抑えつつ性能を維持する。
• 標準のRTL生成タスク（VerilogEval Machineを含む）でRTLCoderをGPT-3.5およびGPT-4とベンチマークする。
• プライバシー保護されたローカル使用を可能にするため、データセットとモデルをオープンに公開する。

実験結果

リサーチクエスチョン

• RQ1 小規模でオープンソースなLLMは自動RTL（Verilog）生成タスクでGPT-3.5を上回れるか？
• RQ2 RTL専用のファインチューニングと専用データセットはVerilogEvalベンチマークで汎用LLMより有利になるか？
• RQ3 4-bit量子化されたRTL生成器は、実務的なノートパソコン利用を前提に最小限の品質低下で実現可能か？
• RQ4 オープンソースのRTLデータセットとモデルはクラウドベースのソリューションと比べてプライバシー保護設計ワークフローを強化するか？

主な発見

• 7BパラメータのRTLCoderは、本研究に含まれる代表的なRTLコード生成ベンチマークのすべてでGPT-3.5を上回る。
• RTLCoderはVerilogEval MachineベンチマークでもGPT-4を上回る。
• 4-bitへ量子化して総サイズを4GBに抑えつつ、単一のノートパソコン上でわずかな性能劣化で動作可能。
• 著者はオープンなRTLコードデータセットと完全なオープンソースソリューションを公開し、ハードウェア設計タスクの柔軟性とプライバシーを向上させる。
• このアプローチは、オンデバイスRTL生成における精度と効率の良好なバランスを示す。