[論文レビュー] SpecLLM: Exploring Generation and Review of VLSI Design Specification with Large Language Model

Mengming Li, Wenji Fang+2 more|arXiv (Cornell University)|Jan 24, 2024

Machine Learning in Materials Science被引用数 5

ひとこと要約

本論文は、VLSIのアーキテクチャ仕様を生成・レビューするためにLLMs（GPT-4）を活用することを調査し、46文書のデータセットを構築し、ゼロからの生成、RTL-to-spec変換、HAS/MAS/LASレベル全体に渡る欠陥対応付きレビューを実証する。

ABSTRACT

The development of architecture specifications is an initial and fundamental stage of the integrated circuit (IC) design process. Traditionally, architecture specifications are crafted by experienced chip architects, a process that is not only time-consuming but also error-prone. Mistakes in these specifications may significantly affect subsequent stages of chip design. Despite the presence of advanced electronic design automation (EDA) tools, effective solutions to these specification-related challenges remain scarce. Since writing architecture specifications is naturally a natural language processing (NLP) task, this paper pioneers the automation of architecture specification development with the advanced capabilities of large language models (LLMs). Leveraging our definition and dataset, we explore the application of LLMs in two key aspects of architecture specification development: (1) Generating architecture specifications, which includes both writing specifications from scratch and converting RTL code into detailed specifications. (2) Reviewing existing architecture specifications. We got promising results indicating that LLMs may revolutionize how these critical specification documents are developed in IC design nowadays. By reducing the effort required, LLMs open up new possibilities for efficiency and accuracy in this crucial aspect of chip design.

研究の動機と目的

• IC設計におけるLLMの利用を標準化するため、アーキテクチャ仕様の構造化された3レベル分類（HAS、MAS、LAS）を定義する。
• この分野でのLLM研究を促進するため、アーキテクチャ仕様のデータセット（≈46文書）を作成・公開する。
• 新規作成からRTL-to-spec変換を含む、LLM支援によるアーキテクチャ仕様の生成を探求する。
• アーキテクチャ仕様のLLMベースのレビューを調査し、欠陥のタイプとプロンプト戦略を特定する。
• 効果的なLLM主導の仕様開発とレビューの実務的な課題を評価し、方法論を提案する。

提案手法

• 3レベルのアーキテクチャ仕様分類（HAS、MAS、LAS）を提案・正式化する。
• CPU、SoC、アクセラレータ、バス、算術、暗号にわたるアーキテクチャ仕様と関連マニュアルの公開データセット（≈46文書）を作成する。
• LLM駆動の生成を実証する： (a) デザイナーがMAS/LASの作成を支援する、(b) RTL/Verilogコードを対応する仕様へ変換する。
• 仕様の欠陥分類を定義する（誤字、矛盾、不完全/不明確、組み合わせ回路ループ、未初期化レジスタ、レベル間の矛盾）。
• LLMsを仕様の作成・変換および指定された欠陥のレビューへ導くためのプロンプトとワークフローを開発する。
• 2つのレビュー手法を比較する：(i) 全ファイルレビュー、(ii) セクションごとのレビュー。境界の明確さと欠陥検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高度なデザイナーのブリーフやRTLコードから、LLMsはMAS/LASのアーキテクチャ仕様を生成できるか？
• RQ2 意味を保ちながら、LLMsはRTLコードを詳細なアーキテクチャ仕様に変換できるか？
• RQ3 HAS、MAS、LAS全体にわたる欠陥について、LLMsはアーキテクチャ仕様をどの程度効果的にレビューできるか？
• RQ4 LLM駆動のレビューにおいて、境界の明確さと欠陥検出を改善するプロンプト戦略とワークフローは何か？
• RQ5 アーキテクチャ仕様タスクにLLMsを適用する際の実践的な制約と考慮事項は何か？

主な発見

• LLMsは単純な論理回路のアーキテクチャ仕様を生成でき、進展とともにより複雑な設計へと拡張できる可能性がある。
• GPT-4はRTL入力を制約・ガイドとして、RTL/Verilogコードをアーキテクチャ仕様に変換できる。
• LLMsは誤字や不一致などの一般的な欠陥を識別し、建設的な改善案を提供できる。
• 2つのレビュー手法を検討した：全ファイルレビューとセクションごとのレビューのうち、後者はよりセクション別で包括的なフィードバックを生み出した。
• セクション分割された入力をレビューすることは、境界認識の問題を緩和し欠陥の網羅性を向上させるが、いくつかの境界上の課題は残る。
• 約46の公開可能なアーキテクチャ仕様のデータセットを編成し、将来のLLMベースのアーキテクチャ仕様研究を支援する。