[論文レビュー] Fixing Hardware Security Bugs with Large Language Models

Baleegh Ahmad, Shailja Thakur+3 more|arXiv (Cornell University)|Feb 2, 2023

Software Engineering Research参考文献 42被引用数 21

ひとこと要約

本論文は、Verilog RTL のハードウェアセキュリティ障害を自動的に修復するために大規模言語モデルを用い、ベンチマークとエンドツーエンドのフレームワークを作成して複数の LLM にわたる修正を生成・評価・比較し、アンサンブルがすべての10件のベンチマークを修正でき、Cirfix の自身のバグに対しても上回ることを示す。

ABSTRACT

Novel AI-based code-writing Large Language Models (LLMs) such as OpenAI's Codex have demonstrated capabilities in many coding-adjacent domains. In this work we consider how LLMs maybe leveraged to automatically repair security relevant bugs present in hardware designs. We focus on bug repair in code written in the Hardware Description Language Verilog. For this study we build a corpus of domain-representative hardware security bugs. We then design and implement a framework to quantitatively evaluate the performance of any LLM tasked with fixing the specified bugs. The framework supports design space exploration of prompts (i.e., prompt engineering) and identifying the best parameters for the LLM. We show that an ensemble of LLMs can repair all ten of our benchmarks. This ensemble outperforms the state-of-the-art Cirfix hardware bug repair tool on its own suite of bugs. These results show that LLMs can repair hardware security bugs and the framework is an important step towards the ultimate goal of an automated end-to-end bug repair framework.

研究の動機と目的

• RTL 設計のハードウェアセキュリティ障害のベンチマークを作成し、公開ソースとする。
• 自動化フレームワークを開発し、LLM ベースの修復を生成、適用、評価する。
• プロンプト設計と LLM のパラメータ設定を研究し、効果的な修復戦略を特定する。
• LLM ベースの修復を Cirfix ハードウェアバグ修復ツールと比較する。
• ハードウェア設計の自動エンドツーエンドのバグ修復フレームワークへ向けた洞察を提供する。

提案手法

• MITRE CWE、OpenTitan、Hack@DAC-21 のソースからドメイン代表的なハードウェアセキュリティ障害のコーパスを構築する。
• 自動化されたエンドツーエンドのフレームワーク（Sources, Detector, Repair Generator, Evaluator）を開発し、LLM の修復を生成・評価する。
• バグと修正指示を含むプロンプトを用いて、LLMs（例：Codex、CodeGen）にパッチの作成を促す。
• RTL シミュレータと静的解析で修復を評価し、機能的およびセキュリティ的正確性を確保する。
• LLM の修復を Cirfix と比較し、設計上の選択とプロンプト戦略を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLM は Verilog RTL 設計のハードウェアセキュリティ障害をどの程度効果的に修復できるか？
• RQ2 どのプロンプト設計戦略と LLM のパラメータがハードウェア障害に対して最良の修復を生み出すか？
• RQ3 アンサンブルの LLM がすべてのベンチマークを修復し、Cirfix のような既存の専用修復ツールを上回ることができるか？
• RQ4 自動化された RTL バグ修復を可能にする構造化されたエンドツーエンドのフレームワークの役割は何か？
• RQ5 検証と評価パイプラインは修復の機能性とセキュリティの両方をどのように検証するか？

主な発見

• LLM のアンサンブルは、ベンチマークセットの10個のハードウェアセキュリティ障害をすべて修復できる。
• LLM ベースの修復は、Cirfix ツールの自身のバグセットに対して優位性を示せる。
• 本研究は、RTL の修復を検出・修復・評価する自動化されたエンドツーエンドのフレームワークを実証する。
• プロンプト設計と指示の変更、モデルの選択、温度設定が修復品質に著しく影響する。
• 修復は機能テストベンチと CWE ベースのセキュリティ評価の両方で評価される。
• 本研究はオープンソースの成果物と自動化されたハードウェアバグ修復を進展させるフレームワークを提供する。