[논문 리뷰] Fixing Hardware Security Bugs with Large Language Models

Baleegh Ahmad, Shailja Thakur외 3명|arXiv (Cornell University)|2023. 02. 02.

Software Engineering Research참고 문헌 42인용 수 21

한 줄 요약

본 논문은 Verilog RTL의 하드웨어 보안 버그를 자동으로 수정하기 위해 대형 언어 모델을 사용하는 것을 조사하고, 벤치마크와 엔드-투-엔드 프레임워크를 만들어 여러 LLM에서 수정안을 생성·평가·비교하며, 앙상블이 모든 ten 벤치마크를 수정하고 Cirfix의 자체 버그보다 더 나은 성능을 보임을 보여준다.

ABSTRACT

Novel AI-based code-writing Large Language Models (LLMs) such as OpenAI's Codex have demonstrated capabilities in many coding-adjacent domains. In this work we consider how LLMs maybe leveraged to automatically repair security relevant bugs present in hardware designs. We focus on bug repair in code written in the Hardware Description Language Verilog. For this study we build a corpus of domain-representative hardware security bugs. We then design and implement a framework to quantitatively evaluate the performance of any LLM tasked with fixing the specified bugs. The framework supports design space exploration of prompts (i.e., prompt engineering) and identifying the best parameters for the LLM. We show that an ensemble of LLMs can repair all ten of our benchmarks. This ensemble outperforms the state-of-the-art Cirfix hardware bug repair tool on its own suite of bugs. These results show that LLMs can repair hardware security bugs and the framework is an important step towards the ultimate goal of an automated end-to-end bug repair framework.

연구 동기 및 목표

• RTL 설계에서 하드웨어 보안 버그의 벤치마크를 선별하고 오픈 소스로 공개한다.
• 하드웨어 버그에 대한 LLM 기반 수리를 생성, 적용, 평가하는 자동화 프레임워크를 개발한다.
• 효과적인 수리 전략을 식별하기 위해 프롬프트 엔지니어링과 LLM 매개변수 설정을 연구한다.
• LLM 기반 수리를 Cirfix 하드웨어 버그 수리 도구와 비교한다.
• 하드웨어 설계를 위한 자동화된 엔드-투-엔드 버그 수리 프레임워크에 대한 통찰을 제공한다.

제안 방법

• MITRE CWE, OpenTitan, Hack@DAC-21 원천의 도메인 대표 하드웨어 보안 버그 코퍼스를 구성한다.
• LLM 수리를 생성하고 평가하기 위한 자동화된 엔드-투-엔드 프레임워크(Sources, Detector, Repair Generator, Evaluator)를 개발한다.
• 버그 및 수정 지침이 포함된 프롬프트를 사용하여 LLM(Codex, CodeGen 등)을 패치를 생성하도록 안내한다.
• RTL 시뮬레이터와 정적 분석으로 수리를 평가하여 기능적 및 보안상의 정확성을 보장한다.
• LLM 수리를 Cirfix와 비교하고 설계 선택 및 프롬프트 전략을 분석한다.

실험 결과

연구 질문

• RQ1 LLMs가 Verilog RTL 설계의 하드웨어 보안 버그를 얼마나 효과적으로 수정할 수 있는가?
• RQ2 하드웨어 버그에 대해 어떤 프롬프트 엔지니어링 전략과 LLM 매개변수들이 가장 좋은 수리를 산출하는가?
• RQ3 LLM 앙상블이 모든 벤치마크를 수정하고 Cirfix와 같은 기존의 전용 수리 도구보다 우수한 성능을 보일 수 있는가?
• RQ4 자동화된 RTL 버그 수리를 가능하게 하는 구조화된 엔드-투-엔드 프레임워크의 역할은 무엇인가?
• RQ5 검증 및 평가 파이프라인이 수리의 기능성과 보안을 어떻게 검증하는가?

주요 결과

• LLM 앙상블은 벤치마크 세트의 모든 ten 가지 하드웨어 보안 버그를 수정할 수 있다.
• LLM 기반 수리는 Cirfix 도구의 자체 버그 세트에서 더 우수한 성능을 발휘할 수 있다.
• 본 연구는 RTL 수리를 탐지, 수정 및 평가하는 자동화된 엔드-투-엔드 프레임워크를 시演한다.
• 프롬프트 엔지니어링과 다양한 지시, 모델 선택, 온도 설정이 수리 품질에 크게 영향을 미친다.
• 수리는 기능 테스트벤치와 CWE 기반 보안 평가를 통해 평가된다.
• 본 연구는 자동화된 하드웨어 버그 수리를 발전시키기 위한 오픈 소스 산출물과 프레임워크를 제공한다.