[論文レビュー] RTLFixer: Automatically Fixing RTL Syntax Errors with Large Language Models

Yun-Da Tsai, Mingjie Liu+1 more|arXiv (Cornell University)|Nov 28, 2023

Natural Language Processing Techniques被引用数 10

ひとこと要約

RTLFixer は Retrieval-Augmented Generation と ReAct prompting を用いて RTL Verilog の構文エラーを自動修正し、LLMs によって Verilog 構文データセットで 98.5% の構文エラー解消率を達成し、複数のベンチマークで pass@1 を改善します。

ABSTRACT

This paper presents RTLFixer, a novel framework enabling automatic syntax errors fixing for Verilog code with Large Language Models (LLMs). Despite LLM's promising capabilities, our analysis indicates that approximately 55% of errors in LLM-generated Verilog are syntax-related, leading to compilation failures. To tackle this issue, we introduce a novel debugging framework that employs Retrieval-Augmented Generation (RAG) and ReAct prompting, enabling LLMs to act as autonomous agents in interactively debugging the code with feedback. This framework demonstrates exceptional proficiency in resolving syntax errors, successfully correcting about 98.5% of compilation errors in our debugging dataset, comprising 212 erroneous implementations derived from the VerilogEval benchmark. Our method leads to 32.3% and 10.1% increase in pass@1 success rates in the VerilogEval-Machine and VerilogEval-Human benchmarks, respectively.

研究の動機と目的

• LLM が生成した Verilog コードの構文エラーを減らす必要性を動機づける（55% の構文エラーを観測）。
• ReAct と RAG を組み合わせた自律デバッグフレームワークを導入し、構文エラーを修正する。
• VerilogEval-syntax を構築・公開する。VerilogEval から派生した 212 サンプルの構文エラー・データセット。
• 構文修正の成功率と下流の機能的正確性の著しい改善を実証する。
• ベンチマーク（VerilogEval、RTLLM）およびコンパイラのバリエーション全体での一般化可能性を評価する。

提案手法

• ReAct プロンプトを用いた自律的な LLM エージェントを用い、構文修正手順を分解・計画する。
• 非パラメトリックな記憶としてコンパイラログや人間の指示を取得するために Retrieval-Augmented Generation (RAG) を組み込む。
• VerilogEval-syntax を、一般的な構文エラーをグルーピングし、検索のための専門家の指示を収集して精選する。
• VerilogEval、VerilogEval-syntax、RTLLM ベンチマーク全体で fix rate および pass@k 指標を用いて評価する。
• LLM のバックボーンとして GPT-3.5-turbo を使用し、後処理として規則ベースの構文修正子を適用する（GPT-4 でのアブレーションを含む）。
• One-shot、ReAct、RAG の設定を比較し、異なるコンパイラのフィードバック品質（iverilog、Quartus）を含めて評価する。

実験結果

リサーチクエスチョン

• RQ1 LLM による ReAct ベースの反復的推論は、ワンショットプロンプトに比べて構文エラー修正を大幅に改善できるか。
• RQ2 人間の専門家の指導を含む RAG の統合は、構文エラー修正の信頼性と成功率を向上させるか。
• RQ3 本手法は VerilogEval、RTLLM といったベンチマークおよび異なる Verilog コンパイラ間でどの程度汎用化できるか。
• RQ4 コンパイラのフィードバック品質が構文修正性能に与える影響は何か。

主な発見

• 本フレームワークはデバッグデータセットで構文エラーの解消に 98.5% の成功を達成。
• 構文エラーの対処により、VerilogEval-Machine および VerilogEval-Human ベンチマークで pass@1 がそれぞれ 32.3%、10.1% 向上。
• RTLLM での構文修正成功率は 73% から 93% に向上。
• One-shot と比較して、ReAct は Simple、iverilog、Quartus といった異なるフィードバックソース全般で構文成功率を最大約 31% 向上させる。
• 人間の指導を伴う RAG は構文修正の信頼性を高め、例えば One-shot で Quartus の場合最大 31.2%、ReAct で 18.6% の改善。
• コンパイラのフィードバック品質を上げる（Quartus 対 iverilog）は一般に修正率を高め、GPT-4 は ReAct の効果が小さくともより高いベースライン性能を提供する。