[論文レビュー] CorrectBench: Automatic Testbench Generation with Functional Self-Correction using LLMs for HDL Design

Ruidi Qiu, Grace Li Zhang+3 more|arXiv (Cornell University)|Nov 13, 2024

Real-time simulation and control systems被引用数 4

ひとこと要約

CorrectBench は、機能的自己検証および自己補正を統合することで信頼性を向上させる、LLMを活用した新しいHDLテストベンチ生成フレームワークである。自然言語による仕様に対してスクリナリオベースの検証者を用いてテストベンチを検証し、LLMベースの補正者によってエラーを是正することで、70.13%の合格率を達成した。これは、前例となる手法の52.18%および直接的なLLM生成の33.33%を著しく上回っている。

ABSTRACT

Functional simulation is an essential step in digital hardware design. Recently, there has been a growing interest in leveraging Large Language Models (LLMs) for hardware testbench generation tasks. However, the inherent instability associated with LLMs often leads to functional errors in the generated testbenches. Previous methods do not incorporate automatic functional correction mechanisms without human intervention and still suffer from low success rates, especially for sequential tasks. To address this issue, we propose CorrectBench, an automatic testbench generation framework with functional self-validation and self-correction. Utilizing only the RTL specification in natural language, the proposed approach can validate the correctness of the generated testbenches with a success rate of 88.85%. Furthermore, the proposed LLM-based corrector employs bug information obtained during the self-validation process to perform functional self-correction on the generated testbenches. The comparative analysis demonstrates that our method achieves a pass ratio of 70.13% across all evaluated tasks, compared with the previous LLM-based testbench generation framework's 52.18% and a direct LLM-based generation method's 33.33%. Specifically in sequential circuits, our work's performance is 62.18% higher than previous work in sequential tasks and almost 5 times the pass ratio of the direct method. The codes and experimental results are open-sourced at the link: https://github.com/AutoBench/CorrectBench

研究の動機と目的

• ハードウェア設計、特に順序回路においてLLMの生成するテストベンチの不安定性を解消すること。
• 機能的検証および補正メカニズムを欠いた、従来のLLMベースのテストベンチフレームワークの限界を克服すること。
• 自然言語RTL仕様のみを入力として用いて、完全に自動化されたテストベンチ生成を可能にすること。
• LLM駆動の自己検証および自己補正ループを導入することで、機能的シミュレーションの合格率を向上させること。
• 人的介入なしに、より高い信頼性とスケーラビリティを備えたテストベンチ生成を実現すること。

提案手法

• テストベンチ生成の唯一の入力として、自然言語によるRTL仕様を採用する。
• 70%の誤りを許容するしきい値を用いたスクリナリオベースの自己検証者を採用し、88.85%の検証精度を達成した。
• 仕様から導出された期待される動作と照らし合わせてテストベンチの出力を検証する機能的自己検証メカニズムを導入する。
• 検証者から得たバグレポートを活用して、反復的に修正を加えるLLMベースの補正者を適用する。
• 自己検証および自己補正のループをフィードバック駆動のワークフローに統合し、信頼性を向上させる。
• エンドツーエンドの機能的検証を実現するため、VerilogドライバとPythonチェックヤーを組み合わせたハイブリッドテストベンチ構造を採用する。

実験結果

リサーチクエスチョン

• RQ1 機能的自己検証は、HDL設計におけるLLM生成テストベンチの信頼性を著しく向上させ得るか？
• RQ2 LLMベースの自己補正メカニズムは、自動生成されたテストベンチの機能的エラーをどれほど効果的に低減できるか？
• RQ3 検証しきい値（例：50%誤り、70%誤り）としてどの値が検証精度と収束性を最大化するか？
• RQ4 CorrectBenchフレームワークは、組み合わせ回路および順序回路の両方において、既存のLLMベースのテストベンチ生成手法をどの程度上回るか？
• RQ5 異なるLLMに一般化可能であり、パフォーマンスの低下や手動チューニングを伴わずに運用可能か？

主な発見

• CorrectBench は、全156件の評価済みVerilogタスクにおいて70.13%の合格率を達成し、前例となる最先端手法であるAutoBenchフレームワーク（52.18%）を17.95ポイント上回った。
• 順序回路において、CorrectBench は AutoBench を62.18ポイント上回り、直接的なLLMベースの生成のほぼ5倍の合格率（33.33%）を達成した。
• スクリナリオベースの検証者は、70%誤り基準を用いて88.85%のグローバル検証精度を達成した。このしきい値は、精度と再現率のバランスが取れており、最適とされた。
• LLMベースの補正者は、前例の手法比で全体のパフォーマンス向上の34.33%を占め、エラー補正におけるその重要性を示した。
• GPT-4o、GPT-4o-mini、Claude-3.5-Sonnetを含む異なるLLMにおいても、一貫したパフォーマンスを維持しており、一般化可能性が裏付けられた。
• 70%誤りの検証しきい値は、50%誤りや90%誤りよりも検証精度および全体のシステムパフォーマンスで優れており、トークンコストが低く、収束率が高い。