[論文レビュー] AssertLLM: Generating and Evaluating Hardware Verification Assertions from Design Specifications via Multi-LLMs

Wenji Fang, Mengming Li+5 more|arXiv (Cornell University)|Feb 1, 2024

Software Testing and Debugging Techniques被引用数 8

ひとこと要約

AssertLLM は、3つの専門的な LLM を用いて完全な設計仕様から SystemVerilog Assertions を自動生成し、ゴールデン RTL 設計に対して評価し、完全な設計で構文と機能の精度を 89% に達成します。

ABSTRACT

Assertion-based verification (ABV) is a critical method for ensuring design circuits comply with their architectural specifications, which are typically described in natural language. This process often requires human interpretation by verification engineers to convert these specifications into functional verification assertions. Existing methods for generating assertions from natural language specifications are limited to sentences extracted by engineers, discouraging its practical application. In this work, we present AssertLLM, an automatic assertion generation framework that processes complete specification files. AssertLLM breaks down the complex task into three phases, incorporating three customized Large Language Models (LLMs) for extracting structural specifications, mapping signal definitions, and generating assertions. Our evaluation of AssertLLM on a full design, encompassing 23 I/O signals, demonstrates that 89\% of the generated assertions are both syntactically and functionally accurate.

研究の動機と目的

• ハードウェア検証における ABV を支援するため、完全な自然言語設計仕様（RTL 前）からアサーション生成を自動化する。
• タスクを抽出、信号マッピング、SVA 生成に分解し、3つの専門的 LLM を使用する。
• 設計全体に対する SVA 生成品質を評価するためのオープンソースのベンチマークと評価手法を提供する。

提案手法

• 3 つのカスタマイズされた LLM を使用します: SPEC Analyzer は完全な仕様から構造化情報を抽出するために; Signal Mapper は仕様の信号と HDL 宣言を整合させるために; SVA Generator は Retrieval Augmented Generation (RAG) およびドメイン知識を用いて SVA（幅、接続性、機能）を作成する。
• 正式評価ではゴールデン RTL 設計とモデル検査（FPV）を用いて SVA を構文的に正しいかつ FPV を通過するかで分類し、信号ごとおよび設計ごとの精度を測定する。
• 自然言語仕様からの SVA 生成を評価するための 20 設計分のオープンソースベンチマーク（仕様、信号定義、ゴールデン RTL）。

実験結果

リサーチクエスチョン

• RQ1 完全な自然言語設計仕様を、各アーキテクチャ信号に対する包括的な SVA に自動的に変換できるか？
• RQ2 ゴールデン RTL 実装に対して評価した場合、LLM が生成した SVA は構文的・機能的にどれだけ正確か？
• RQ3 非構造化された仕様からの SVA 生成において、マルチ LLM と RAG 強化アプローチは、単一の LLM ベースラインより優れているか？
• RQ4 検証対象となった I2C 設計を超え、さまざまな設計タイプに対してフレームワークは一般化できるか？

主な発見

• AssertLLM は I2C 設計で 23 信号に対して 56 個の SVA を生成し、そのうち幅 23 個、接続 16 個、機能 17 個の SVA を含んでいる。
• 生成された SVA の 89% が、ゴールデン RTL 設計で構文的にも機能的にも正しいと評価された。
• GPT-4 ベースラインと比較して、SPEC Analyzer、Signal Mapper、SVA Generator と RAG を組み合わせたカスタマイズ手法は、SVA の品質を大幅に向上させ、構文エラーを減少させる。
• GPT-3.5 は多モーダルの全仕様を処理できず、専門的なパイプラインなしの GPT-4 は品質の低い SVA を生成した。
• このベンチマークは複数の設計タイプにわたる SVA 生成品質の評価を可能にし、将来の検証に適した仕様記述を支援します。