[論文レビュー] SpecGen: Automated Generation of Formal Program Specifications via Large Language Models

Lezhi Ma, Shangqing Liu+3 more|arXiv (Cornell University)|Jan 16, 2024

Software Engineering Research被引用数 6

ひとこと要約

SpecGen は、会話駆動による生成と変異ベースの洗練という 2 段階のアプローチを用いて、LLM を用いて検証可能な Java/JML 仕様を生成し、120 のプログラムで Houdini、Daikon、純 LLM ベースのベースラインを上回る。

ABSTRACT

Formal program specifications play a crucial role in various stages of software development. However, manually crafting formal program specifications is rather difficult, making the job time-consuming and labor-intensive. It is even more challenging to write specifications that correctly and comprehensively describe the semantics of complex programs. To reduce the burden on software developers, automated specification generation methods have emerged. However, existing methods usually rely on predefined templates or grammar, making them struggle to accurately describe the behavior and functionality of complex real-world programs. To tackle this challenge, we introduce SpecGen, a novel technique for formal program specification generation based on Large Language Models. Our key insight is to overcome the limitations of existing methods by leveraging the code comprehension capability of LLMs. The process of SpecGen consists of two phases. The first phase employs a conversational approach that guides the LLM to generate appropriate specifications for a given program. The second phase, designed for where the LLM fails to generate correct specifications, applies four mutation operators to the model-generated specifications and selects verifiable specifications from the mutated ones through a novel heuristic selection strategy. We evaluate SpecGen on two datasets, including the SV-COMP Java category benchmark and a manually constructed dataset. Experimental results demonstrate that SpecGen succeeds in generating verifiable specifications for 279 out of 385 programs, outperforming the existing purely LLM-based approaches and conventional specification generation tools like Houdini and Daikon. Further investigations on the quality of generated specifications indicate that SpecGen can comprehensively articulate the behaviors of the input program.

研究の動機と目的

• LLMのコード理解を活用して高品質な形式仕様を生成する。
• 複雑なプログラムに対する従来ツール（Houdini、Daikon）のテンプレート/文法制約を克服する。
• 検証可能な洗練を通じてLLMのギャップを修正する変異ベースの生成を導入する。
• 変異した仕様を効率的に検証するヒューリスティック選択戦略を提案する。
• 評価用に専門家が作成した仕様を付した120のJavaプログラムのデータセットを提供する。

提案手法

• 初期プロンプトと検証フィードバックによってLLMを導く会話駆動の仕様生成で、JML仕様を作成する。
• 検証器のフィードバックを用いて、複数ターンの会話で以降のLLM出力を改良する。
• 4つの演算ファミリ（述語的、論理的、比較、算術）を用いて失敗したLLM出力を変異させる変異ベースの仕様生成。
• ヒューリスティック選択は、検証を効率的に通過させるために重み付きで変異したバリアントを選択する。
• OpenJML検 verifierを用いた120のJavaプログラムによる評価設定で、Houdini、Daikon、および純粋なLLMベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 SpecGen は、ベースラインの仕様生成アプローチと比較してどのように性能を発揮するか？
• RQ2 SpecGen の有効性に対する各変異タイプの寄与は何か？
• RQ3 候補選択戦略は SpecGen の効率にどう影響するか？
• RQ4 生成された仕様は入力プログラムの意味的挙動をどの程度捉えているか？

主な発見

• SpecGen は 120 プログラム中 100 件の仕様を検証可能に生成し、Houdini（42）、Purely LLM ベースの方法（対話型72、4ショット設定で最大70）を上回る。
• 会話駆動の生成と変異ベースの洗練を組み合わせることで、純粋なLLMやテンプレートベースのアプローチを大幅に上回る。
• 変異検証における乱択選択に対するヒューリスティック選択戦略の効率改善は 20.22% の向上を達成。
• アブレーション研究は、4つのすべての変異演算子の有効性を確認している。
• データセットには専門家作成のオラクル仕様を持つ120のJavaプログラムが含まれ、堅牢な評価を可能にする。