[논문 리뷰] Lemur: Integrating Large Language Models in Automated Program Verification

Haoze Wu, Clark Barrett외 1명|arXiv (Cornell University)|2023. 10. 07.

Software Testing and Debugging TechniquesComputer Science인용 수 3

한 줄 요약

Lemur는 대규모 언어 모델(Large Language Models, LLMs)과 자동 정리 증명기(Automated Theorem Provers)를 통합하는 공식적 프레임워크를 제안한다. 이는 LLMs가 고수준의 증명 목표(예: 불변식)를 생성하고, 검증기가 이를 검증하는 방식으로 작동한다. 이 접근법은 복잡한 루프를 가진 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 50개의 하드 SV-COMP 프로그램 중 26개를 해결하였다. 이는 단일 루프 프로그램을 초월해 확장 가능한 첫 번째 LLM 기반 검증 시스템임을 보여준다.

ABSTRACT

The demonstrated code-understanding capability of LLMs raises the question of whether they can be used for automated program verification, a task that demands high-level abstract reasoning about program properties that is challenging for verification tools. We propose a general methodology to combine the power of LLMs and automated reasoners for automated program verification. We formally describe this methodology as a set of transition rules and prove its soundness. We instantiate the calculus as a sound automated verification procedure and demonstrate practical improvements on a set of synthetic and competition benchmarks.

연구 동기 및 목표

• 현재의 공식 도구들이 처리할 수 없는 고수준의 추상적 추론이 필요한 자동 프로그램 검증 문제를 해결하기 위해.
• LLMs와 자동 추론 도구 간의 상호작용을 공식화하여 하이브리드 AI-공식 방법론에 대한 이론적 기반의 격차를 메우기 위해.
• LLM을 이용해 불변식을 생성하고 자동 도구로 검증하는 실용적이고 타당하며 종료 보장이 되는 검증 시스템을 구축하기 위해.
• 다양한 벤치마크(합성 프로그램과 복잡한 제어 흐름을 가진 실세계 수준의 C 프로그램 포함)에서 프레임워크의 성능을 평가하기 위해.
• 다중 루프와 비트리비얼 데이터 유형을 가진 프로그램에서 LLM 가이드 검증의 확장성과 내구성 탐색하기 위해.

제안 방법

• Lemur는 LLM이 제안한 증명 목표(예: 불변식)와 자동 검증 체크를 조합하는 유도 규칙로 구성된 증명 체계를 공식화한다.
• 타당한 함의 관계를 정의한다: q ⇒ p는 프로그램에 조건 q를 가정으로 추가한 후 p가 불변식으로 유지될 경우 성립한다.
• 프레임워크는 LLM을 통해 하위 목표(불변식 또는 가정)를 제안하고, esbmc나 UAutomizer와 같은 자동 추론 도구로 검증한다.
• 핵심 혁신은 조건부 프로그램 동작을 시뮬레이션하기 위해 가정을 사용하는 것으로, 이는 복잡한 제어 경로 탐색을 가능하게 한다.
• 반복적 개선과 프롬프트 엔지니어링을 포함한 최적화 기법을 사용하여 LLM의 제안 품질을 향상시키고 중복 호출을 줄인다.
• 구현은 GPT-4를 사용해 불변식을 생성하고, 기존의 C 검증기와 통합하여 타당성과 종료 보장을 확보한다.

실험 결과

연구 질문

• RQ1 LLMs는 자동 검증기의 정확한 검증 방향을 이끄는 고수준의 증명 목표(예: 불변식)를 신뢰성 있게 생성할 수 있는가?
• RQ2 LLM이 생성한 추론과 자동 검증을 조합할 때 타당성을 보장하는 공식적 계산법이 존재하는가?
• RQ3 이러한 하이브리드 접근법은 현재 도구들이 검증에 실패하는 다중 루프를 가진 복잡한 검증 벤치마크를 해결할 수 있는가?
• RQ4 표준 벤치마크에서 LLM 가이드 검증의 성능은 순수 AI 기반 또는 순수 공식 방법에 비해 어떻게 비교되는가?
• RQ5 이 하이브리드 환경에서 LLM과 자동 검증기의 실용적 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• Lemur는 20분 타임아웃 내에 50개의 하드 SV-COMP 벤치마크 중 26개를 해결했으며, esbmc와 UAutomizer는 모두 성공하지 못했다. 이는 성능 향상의 급격한 도약을 보여준다.
• 시스템은 최대 4개의 루프를 가진 프로그램을 성공적으로 검증하였으며, 이는 LLM 기반 접근법이 그러한 복잡한 제어 구조로 확장된 최초의 사례이다.
• 평균적으로 해결된 각 벤치마크당 9.1개의 제안이 필요했으며, 이는 더 단순한 Code2Inv 벤치마크의 평균 4.7개보다 높은 수준의 추론 복잡도를 반영한다.
• LLMs는 소스 코드에 모듈로 연산자가 존재하지 않더라도, x%4==0과 같은 문맥적 힌트를 가진 유의미한 불변식을 생성하였다.
• 일부 사례에서 LLM은 불변식을 논리합(disjunctive) 형태로 생성하여 루프 동작을 정확히 포괄하였으며, 기존의 술어 추상화 기법을 뛰어넘는 성능을 보였다.
• 프레임워크의 타당성은 공식적으로 증명되었으며, 이는 완전한 공식 계산법과 정확성 증명을 갖춘 첫 번째 하이브리드 검증 시스템이다.