[論文レビュー] Large Language Models are Few-shot Testers: Exploring LLM-based General Bug Reproduction

Sungmin Kang, Juyeon Yoon+1 more|arXiv (Cornell University)|Sep 23, 2022

Software Engineering Research被引用数 7

ひとこと要約

本稿では、Java プロジェクトにおける自然言語のバグレポートから、大規模言語モデル（LLMs）を活用して自動的にテストケースを生成するフレームワークである Libro を提案する。LLM の出力を後処理し、検証ヒューリスティクスを適用することで、Defects4J ケースの 33.5% でバグを再現し、149 件のバグについて有効な再現テストを上位候補として提示した。これは、テスト作成における開発者の作業負荷を大幅に低減する強力な可能性を示している。

ABSTRACT

Many automated test generation techniques have been developed to aid developers with writing tests. To facilitate full automation, most existing techniques aim to either increase coverage, or generate exploratory inputs. However, existing test generation techniques largely fall short of achieving more semantic objectives, such as generating tests to reproduce a given bug report. Reproducing bugs is nonetheless important, as our empirical study shows that the number of tests added in open source repositories due to issues was about 28% of the corresponding project test suite size. Meanwhile, due to the difficulties of transforming the expected program semantics in bug reports into test oracles, existing failure reproduction techniques tend to deal exclusively with program crashes, a small subset of all bug reports. To automate test generation from general bug reports, we propose LIBRO, a framework that uses Large Language Models (LLMs), which have been shown to be capable of performing code-related tasks. Since LLMs themselves cannot execute the target buggy code, we focus on post-processing steps that help us discern when LLMs are effective, and rank the produced tests according to their validity. Our evaluation of LIBRO shows that, on the widely studied Defects4J benchmark, LIBRO can generate failure reproducing test cases for 33% of all studied cases (251 out of 750), while suggesting a bug reproducing test in first place for 149 bugs. To mitigate data contamination, we also evaluate LIBRO against 31 bug reports submitted after the collection of the LLM training data terminated: LIBRO produces bug reproducing tests for 32% of the studied bug reports. Overall, our results show LIBRO has the potential to significantly enhance developer efficiency by automatically generating tests from bug reports.

研究の動機と目的

• 自然言語のバグレポートから直接テストケースを生成する LLM の可能性を検証すること。これは、自動テスト分野でほとんど未開拓のタスクである。
• クラッシュに基づくオラクルに依存しない非クラッシュ系バグに対して、意味的に意味のあるテストを生成する課題に取り組むこと。既存の手法は、オラクル問題のため、しばしばこの課題を無視している。
• 単に潜在的なテストケースを生成するのではなく、順位付けと検証を組み合わせて信頼性を確保し、開発者の認知的負荷を軽減するフレームワークを開発すること。
• LLM の事前学習中に使用されていない、トレーニング後（post-training）のバグレポートを用いた評価により、データ漏洩の影響を回避する。

提案手法

• Libro は、Few-shot プロンプト設定を用いて、バグレポートとソースコードを Codex LLM に提示し、候補となるテストケースを生成する。
• 文法的正しさ、コンパイル成功、実行挙動に基づいて、生成されたテスト出力をフィルタリング・検証するための後処理ヒューリスティクスを適用する。
• コンパイル成功、実行時例外、テスト実行結果といったメトリクスを用いて、バグの再現可能性の高い順に生成されたテストを順位付けする。
• 静的解析と動的実行の組み合わせを用いて、生成されたテストが実際にバグを再現するかどうかを検証し、有効な試行と無効な試行を区別する。
• 一般化性と頑健性を評価するために、Defects4J ベンチマークと新たに収集した実世界のレポート-テストデータセットの両方でシステムを評価する。
• データ漏洩を軽減するため、LLM の事前学習中に含まれていない 31 件のトレーニング後バグレポートを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 LLM は、クラッシュに基づくオラクルに依存せずに、自然言語のバグレポートから効果的にテストケースを生成できるか？
• RQ2 Libro のようなフレームワークは、複数の LLM 生成出力の中から、最も有望なテスト候補をどれだけ正確に特定・順位付けできるか？
• RQ3 Libro は、LLM の学習データに含まれていない、実世界のトレーニング後バグレポートにもどれほど一般化できるか？
• RQ4 LLM による生成で成功したバグの再現に寄与するバグレポートおよびテストケースの主な特徴は何か？

主な発見

• Libro は、750 件中 251 件（33.5%）の Defects4J バグについて、失敗を引き起こすテストケースを正しく再現した。これは、広く使われているベンチマークで顕著なパフォーマンスを示している。
• これらのバグのうち 149 件については、Libro が最初の候補として有効な失敗再現テストを生成した。これは、テスト選択における開発者の作業負荷を顕著に低減する。
• 新たに収集した 31 件のトレーニング後実世界バグレポートを用いた別評価では、Libro は 32.2% のバグを再現した。これは、学習データを超えた一般化性能を示している。
• 生成されたテストのうち、実際にバグを再現するものを正しく特定する精度は 71.4% を達成した。これは、テスト順位付けにおける高い信頼性を示している。
• 外部ファイルや非標準的なテストインフラストラクチャを必要とするバグに対しては、性能が著しく劣り、複雑なテスト依存関係の処理における現在の限界を示している。
• テストコードがレポートから記憶されている可能性があったケースはわずか 3 件にとどまり、結果に顕著なデータ汚染は見られなかった。