[논문 리뷰] SpecGen: Automated Generation of Formal Program Specifications via Large Language Models

Lezhi Ma, Shangqing Liu외 3명|arXiv (Cornell University)|2024. 01. 16.

Software Engineering Research인용 수 6

한 줄 요약

SpecGen은 두 단계 접근법(대화 주도 생성 및 돌연변이 기반 정제)을 사용하여 검증 가능한 Java/JML 명세를 생성하며, 120개 프로그램에서 Houdini, Daikon 및 순수 LLM 기준선보다 우수합니다.

ABSTRACT

Formal program specifications play a crucial role in various stages of software development. However, manually crafting formal program specifications is rather difficult, making the job time-consuming and labor-intensive. It is even more challenging to write specifications that correctly and comprehensively describe the semantics of complex programs. To reduce the burden on software developers, automated specification generation methods have emerged. However, existing methods usually rely on predefined templates or grammar, making them struggle to accurately describe the behavior and functionality of complex real-world programs. To tackle this challenge, we introduce SpecGen, a novel technique for formal program specification generation based on Large Language Models. Our key insight is to overcome the limitations of existing methods by leveraging the code comprehension capability of LLMs. The process of SpecGen consists of two phases. The first phase employs a conversational approach that guides the LLM to generate appropriate specifications for a given program. The second phase, designed for where the LLM fails to generate correct specifications, applies four mutation operators to the model-generated specifications and selects verifiable specifications from the mutated ones through a novel heuristic selection strategy. We evaluate SpecGen on two datasets, including the SV-COMP Java category benchmark and a manually constructed dataset. Experimental results demonstrate that SpecGen succeeds in generating verifiable specifications for 279 out of 385 programs, outperforming the existing purely LLM-based approaches and conventional specification generation tools like Houdini and Daikon. Further investigations on the quality of generated specifications indicate that SpecGen can comprehensively articulate the behaviors of the input program.

연구 동기 및 목표

• LLM 코드 이해를 활용하여 고품질의 형식 명세를 생성한다.
• 복잡한 프로그램에 대한 이전 도구(Houdini, Daikon)의 템플릿/문법 한계를 극복한다.
• 검증 가능한 정제를 통해 LLM의 격차를 수정하기 위한 돌연변이 기반 생성을 도입한다.
• 돌연변이된 명세를 효율적으로 검증하기 위한 휴리스틱 선택 전략을 제안한다.
• 평가를 위해 전문가가 작성한 명세를 포함한 120개의 Java 프로그램 데이터세트를 제공한다.

제안 방법

• 초기 프롬프트와 검증 피드백으로 안내되는 LLM에 의해 JML 명세를 생성하는 대화 주도 명세 생성.
• 검증기 피드백은 다중 턴 대화에서 후속 LLM 출력의 정제를 위해 사용된다.
• 네 가지 연산자 계열(술어적, 논리적, 비교적, 산술적)을 사용하여 실패한 LLM 출력을 변이시키는 돌연변이 기반 명세 생성.
• 휴리스틱 선택은 가중치를 부여한 변이된 변형을 선택하여 검증을 효율적으로 통과시키는 방법이다.
• Houdini, Daikon 및 순수 LLM 기준선과 비교하는 120개의 Java 프로그램과 OpenJML 검증기를 이용한 평가 설정.

실험 결과

연구 질문

• RQ1 기준선 명세 생성 방법과 비교해 SpecGen의 성능은 어떠한가?
• RQ2 SpecGen의 효과에 대한 각 돌연변이 유형의 기여는 무엇인가?
• RQ3 후보 선택 전략은 SpecGen의 효율성에 어떤 영향을 미치는가?
• RQ4 생성된 명세가 입력 프로그램의 의미적 동작을 어느 정도 포착하는가?

주요 결과

• SpecGen은 120개 중 100개 프로그램에 대해 검증 가능하게 명세를 생성하며, Houdini(42) 및 순수 LLM 기반 방법(대화식 72, 4-shot 설정에서 최대 70)을 능가한다.
• 대화 주도 생성과 돌연변이 기반 정제가 순수 LLM 또는 템플릿 기반 접근법에 비해 상당한 이점을 제공한다.
• 돌연변이 검증에서 무작위 선택 대비 휴리스틱 선택 전략으로 효율성이 20.22% 향상된다.
• 아블레이션 연구는 네 가지 모든 돌연변이 연산자의 효과를 확인한다.
• 데이터셋은 전문가가 작성한 오라클 명세를 포함한 120개의 Java 프로그램을 포함하여 견고한 평가를 가능하게 한다.