[論文レビュー] TOGLL: Correct and Strong Test Oracle Generation with LLMs

Soneya Binta Hossain, Matthew B. Dwyer|arXiv (Cornell University)|May 6, 2024

Scientific Computing and Data Management被引用数 7

ひとこと要約

この論文は、正確で強力かつ多様なテストオラクルを生成するための微調整済みコードLLMを研究し、TOGLLを導入して未見のJavaプロジェクトにおける正確性・多様性・バグ検出でTOGAおよびEvoSuiteに大きな改善を示します。

ABSTRACT

Test oracles play a crucial role in software testing, enabling effective bug detection. Despite initial promise, neural-based methods for automated test oracle generation often result in a large number of false positives and weaker test oracles. While LLMs have demonstrated impressive effectiveness in various software engineering tasks, including code generation, test case creation, and bug fixing, there remains a notable absence of large-scale studies exploring their effectiveness in test oracle generation. The question of whether LLMs can address the challenges in effective oracle generation is both compelling and requires thorough investigation. In this research, we present the first comprehensive study to investigate the capabilities of LLMs in generating correct, diverse, and strong test oracles capable of effectively identifying a large number of unique bugs. To this end, we fine-tuned seven code LLMs using six distinct prompts on the SF110 dataset. Utilizing the most effective fine-tuned LLM and prompt pair, we introduce TOGLL, a novel LLM-based method for test oracle generation. To investigate the generalizability of TOGLL, we conduct studies on 25 large-scale Java projects. Besides assessing the correctness, we also assess the diversity and strength of the generated oracles. We compare the results against EvoSuite and the state-of-the-art neural method, TOGA. Our findings reveal that TOGLL can produce 3.8 times more correct assertion oracles and 4.9 times more exception oracles. Moreover, our findings demonstrate that TOGLL is capable of generating significantly diverse test oracles. It can detect 1,023 unique bugs that EvoSuite cannot, which is ten times more than what the previous SOTA neural-based method, TOGA, can detect.

研究の動機と目的

• ソフトウェアテストのために、微調整済みコードLLMが正確で強力なテストオラクルを生成できるかを調査する。
• LLM生成オラクルの未見の大規模Javaプロジェクトへの汎用性を評価する。
• LLM生成オラクルの多様性と最先端ベースラインに対するバグ検出力を評価する。
• LLMベースのテストオラクル生成の再現性とさらなる研究を可能にするデータセット、モデル、コードを提供する。

提案手法

• SF110由来のテストプレフィックス、MUT、およびドックストリングのデータセットに対して6つのコンテキスト変化プロンプトを用い、7つのコードLLM（110M–2.7Bパラメータ）を微調整する。
• 検証セットでの正確性に基づいて最良のモデル-プロンプトペアを選択し、TOGLLを定義する。
• 生成オラクルを組み込んだテストスイートを実行して正確性を評価し、成功率（非空の正しいオラクルがパスするか）を測定する。
• TOGLLを、25の未見の大規模Javaプロジェクトにわたり、最先端ニューラル手法のTOGAおよびEvoSuiteと比較する。
• PITを用いた変異体検出と独自変異体の殺傷数を測定することで、オラクル強度を評価する。
• 生成されたアサーションの多様性と、一般的なアサーションカテゴリーへの分布を分析する。

Figure 1: Overview of our approach to explore LLM-based oracle generation and to evaluate TOGLL.

実験結果

リサーチクエスチョン

• RQ1 RQ1: どのLLMとプロンプティングアプローチが生成精度の高い最も効果的なテストオラクルを生むのか？
• RQ2 RQ2: 未見のプロジェクトに対して、TOGLLの微調整モデルはベースラインと比較して正しいテストオラクルをどの程度生成できるか？
• RQ3 RQ3: LLM生成アサーションはEvoSuite生成アサーションと比べてどの程度多様か？
• RQ4 RQ4: 生成アサーションは変異テストによる独自のバグ検出にどの程度強いか？

主な発見

• TOGLLはTOGAより正しいオラクル生成で高い性能を示し、未見プロジェクトでアサーションオラクルで最大3.8x、例外オラクルで4.9xの改善を達成した。
• TOGLLはEvoSuiteより大幅に多様なアサーションを生成し、多くの独自の観察ターゲットを有し、生成されたアサーション194,871件中一致は18,630件のみである。
• 未見プロジェクトでTOGLLは1,023の独自変異体を検出し（TOGAより10倍以上、EvoSuiteよりも著しく多い）、強力なバグ検出能力を示した。
• プロンプトの文脈は重要であり、メソッド署名や完全なメソッドコードを追加すると精度が向上し、P5（全MUT）とP6（doc+MUT）はモデルを問わずしばしば最良の性能を示す。一方、ドキュストリングのみは利得が小さい。
• 評価対象のモデルの中で、CodeGen-350MとCodeParrot-110Mが最も効果的なプロンプト（P4–P6）で総合的にトップパフォーマーだった。
• TOGLLは25の実世界プロジェクト全体で強い性能を維持し、アサーションの正確なオラクル成功率は平均63%、例外は93.4%でTOGAを大きく上回った。

Figure 2: EvoSuite-Generated Test Cases with Assertion and Exception Oracles. The prefix part is marked with yellow color.