[論文レビュー] Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing

Arghavan Moradi Dakhel, Amin Nikanjam+3 more|arXiv (Cornell University)|Aug 31, 2023

Software Testing and Debugging TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、変異テストを用いてテストアービターの弱みを特定・是正することで、事前学習済み大規模言語モデル（LLM）が生成するテストケースの有効性を向上させるMuTAPというフレームワークを提案する。生存する変異体（surviving mutants）をフィードバックとして繰り返しプロンプトを最適化することで、バグ検出能力が向上し、Llama-2-chatを用いた実際のバグありコードにおいて94.06%のバグ検出率を達成した。これは、Pynguinやゼロショット／フェイシングLMM手法を上回る結果である。

ABSTRACT

One of the critical phases in software development is software testing. Testing helps with identifying potential bugs and reducing maintenance costs. The goal of automated test generation tools is to ease the development of tests by suggesting efficient bug-revealing tests. Recently, researchers have leveraged Large Language Models (LLMs) of code to generate unit tests. While the code coverage of generated tests was usually assessed, the literature has acknowledged that the coverage is weakly correlated with the efficiency of tests in bug detection. To improve over this limitation, in this paper, we introduce MuTAP for improving the effectiveness of test cases generated by LLMs in terms of revealing bugs by leveraging mutation testing. Our goal is achieved by augmenting prompts with surviving mutants, as those mutants highlight the limitations of test cases in detecting bugs. MuTAP is capable of generating effective test cases in the absence of natural language descriptions of the Program Under Test (PUTs). We employ different LLMs within MuTAP and evaluate their performance on different benchmarks. Our results show that our proposed method is able to detect up to 28% more faulty human-written code snippets. Among these, 17% remained undetected by both the current state-of-the-art fully automated test generation tool (i.e., Pynguin) and zero-shot/few-shot learning approaches on LLMs. Furthermore, MuTAP achieves a Mutation Score (MS) of 93.57% on synthetic buggy code, outperforming all other approaches in our evaluation. Our findings suggest that although LLMs can serve as a useful tool to generate test cases, they require specific post-processing steps to enhance the effectiveness of the generated test cases which may suffer from syntactic or functional errors and may be ineffective in detecting certain types of bugs and testing corner cases PUTs.

研究の動機と目的

• 既存のLLMベースのテスト生成ツールがコードカバレッジに注力する一方で、実際のバグを検出できないという限界を是正すること。
• 変異テストをフィードバックメカニズムとして活用することで、LLMが生成するテストケースの欠陥発見能力を向上させること。
• テスト対象プログラム（PUT）の自然言語記述がなくても、効果的なテスト生成を可能にすること。
• 変異体のフィードバックを用いた反復的最適化により、構文的・機能的エラーを含む無効なテストケースの数を削減すること。
• 変異テストがLLMベースのテスト生成における強力な評価および最適化メカニズムとして機能できることを示すこと。

提案手法

• MuTAPは、PUTと指示に基づき、ゼロショットまたはフェイシングプロンプトを用いて事前学習済みLLMで初期テストケースを生成する。
• 生成されたテストケースについて構文的および戻り値の正しさを検証し、無効なものをフィルタリングする。
• PUTに対して変異テストを適用し、変異体を生成。初期テストスイートで殺されなかった生存する変異体（surviving mutants）を特定する。
• 生存する変異体を元のプロンプトに統合し、PUT、初期テストケース、および変異体固有の失敗パターンを含む最適化済みプロンプトを作成する。
• 最適化済みプロンプトを用いてLLMを再プロンプトし、以前に生存していた変異体を殺せるよう改善されたテストケースを生成する。
• 最終的なテストケースは、正しさと変異体の殺し込み効果に基づいて検証およびランク付けされる。

実験結果

リサーチクエスチョン

• RQ1 変異テストは、LLMが生成するテストケースの欠陥検出能力を効果的に向上させることができるか？
• RQ2 生存する変異体をプロンプトに統合することで、テストケース生成の有効性にどのような影響を与えるか？
• RQ3 MuTAPは、PUTの自然言語記述がなくても効果的なテストケースを生成できるか？
• RQ4 MuTAPは、最先端の自動テスト生成ツール（例：Pynguin）およびゼロショット／フェイシングLMM手法と比較して、実際のバグを検出する能力に優れているか？
• RQ5 LLMに変異テストのフィードバックを組み込むことで、コーナーケースや微細なバグをどれほど効果的に検出できるか？

主な発見

• 合成的なバグありコードに対してMuTAPは93.57%の変異スコア（MS）を達成し、評価されたすべての手法を上回った。
• Codexを用いた場合、MuTAPはベンチマークで86.72%の実バグありコードスニペットを検出できた。これはベースライン手法を著しく上回った。
• Llama-2-chatを用いた場合、MuTAPは94.06%のバグありコードを検出でき、Pynguinおよびゼロショット／フェイシングLMM手法を上回った。
• MuTAPは、既存手法よりも最大28%多く、バグありの手作業テストコードスニペットを検出できた。そのうち17%はPynguinおよびLLMベース手法の両方で検出されなかった。
• 生存する変異体をプロンプトに統合することで、特に微細なバグやコーナーケースバグの検出能力が顕著に向上した。
• MuTAPの反復的最適化プロセスにより、初期にLLMが生成したテストケースに含まれる構文的・機能的エラーが効果的に是正され、有効性と効果性が向上した。