[论文解读] Fixing Hardware Security Bugs with Large Language Models

Baleegh Ahmad, Shailja Thakur+3 more|arXiv (Cornell University)|Feb 2, 2023

Software Engineering Research参考文献 42被引用 21

一句话总结

该论文研究使用大型语言模型来自动修复 Verilog RTL 中的硬件安全漏洞，建立一个基准和端到端框架，以跨多个 LLM 生成、评估和比较修复方案，结果表明一个集成模型可以修复所有十个基准并且在其自身漏洞上超越 Cirfix。

ABSTRACT

Novel AI-based code-writing Large Language Models (LLMs) such as OpenAI's Codex have demonstrated capabilities in many coding-adjacent domains. In this work we consider how LLMs maybe leveraged to automatically repair security relevant bugs present in hardware designs. We focus on bug repair in code written in the Hardware Description Language Verilog. For this study we build a corpus of domain-representative hardware security bugs. We then design and implement a framework to quantitatively evaluate the performance of any LLM tasked with fixing the specified bugs. The framework supports design space exploration of prompts (i.e., prompt engineering) and identifying the best parameters for the LLM. We show that an ensemble of LLMs can repair all ten of our benchmarks. This ensemble outperforms the state-of-the-art Cirfix hardware bug repair tool on its own suite of bugs. These results show that LLMs can repair hardware security bugs and the framework is an important step towards the ultimate goal of an automated end-to-end bug repair framework.

研究动机与目标

• 整理 RTL 设计中的硬件安全漏洞基准并将其开源。
• 开发一个自动化框架，用于生成、应用和评估基于 LLM 的硬件漏洞修复。
• 研究提示工程与 LLM 参数设置，以识别有效的修复策略。
• 将基于 LLM 的修复与 Cirfix 硬件漏洞修复工具进行比较。
• 为硬件设计提供面向端到端自动化漏洞修复框架的见解。

提出的方法

• 从 MITRE CWE、OpenTitan 和 Hack@DAC-21 来源构建领域代表性硬件安全漏洞语料库。
• 开发一个自动化端到端框架（Sources、Detector、Repair Generator、Evaluator），用于生成和评估 LLM 修复。
• 使用包含漏洞和修复指令的提示来引导 LLM（如 Codex、CodeGen）生成补丁。
• 使用 RTL 仿真器和静态分析评估修复，以确保功能性和安全性正确。
• 将 LLM 修复与 Cirfix 进行比较，并分析设计选择和提示策略。

实验结果

研究问题

• RQ1 LLMs 在 Verilog RTL 设计中修复硬件安全漏洞的效果有多大？
• RQ2 哪些提示工程策略与 LLM 参数能为硬件漏洞带来最佳修复？
• RQ3 一个 LLM 集成模型能否修复所有基准并超越像 Cirfix 这样的现有专门修复工具？
• RQ4 结构化端到端框架在实现自动化 RTL 漏洞修复中扮演的角色是什么？
• RQ5 验证与评估流程如何同时验证修复的功能性与安全性？

主要发现

• 一个 LLM 集成可以修复基准集中的所有十个硬件安全漏洞。
• 基于 LLM 的修复在 Cirfix 自己的漏洞集合上可以超越 Cirfix。
• 该研究展示了一个自动化端到端框架，用于检测、修复和评估 RTL 修复。
• 提示工程，以及对指令、模型选择和温度等参数的变动对修复质量有显著影响。
• 修复通过功能性测试平台和基于 CWE 的安全评估进行评估。
• 该工作提供开源工件和一个框架，以推进自动化硬件漏洞修复。