[論文レビュー] Beyond ChatGPT: Enhancing Software Quality Assurance Tasks with Diverse LLMs and Validation Techniques

Ratnadira Widyasari, David Lo+1 more|arXiv (Cornell University)|Sep 2, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

この論文は、ソフトウェア品質保証における障害局所化と脆弱性検出の分野で、GPT-3.5、GPT-4o、LLaMA-3-70B、LLaMA-3-8B、Gemma-7B、Mixtral-8x7Bの多様な大規模言語モデル（LLM）を評価している。投票メカニズムと検証プロンプトを用いた交差検証を提案し、GPT-3.5を上回る10%以上の向上、障害局所化では最大16%の向上を達成した。

ABSTRACT

With the advancement of Large Language Models (LLMs), their application in Software Quality Assurance (SQA) has increased. However, the current focus of these applications is predominantly on ChatGPT. There remains a gap in understanding the performance of various LLMs in this critical domain. This paper aims to address this gap by conducting a comprehensive investigation into the capabilities of several LLMs across two SQA tasks: fault localization and vulnerability detection. We conducted comparative studies using GPT-3.5, GPT-4o, and four other publicly available LLMs (LLaMA-3-70B, LLaMA-3-8B, Gemma-7B, and Mixtral-8x7B), to evaluate their effectiveness in these tasks. Our findings reveal that several LLMs can outperform GPT-3.5 in both tasks. Additionally, even the lower-performing LLMs provided unique correct predictions, suggesting the potential of combining different LLMs' results to enhance overall performance. By implementing a voting mechanism to combine the LLMs' results, we achieved more than a 10% improvement over the GPT-3.5 in both tasks. Furthermore, we introduced a cross-validation approach to refine the LLM answer by validating one LLM answer against another using a validation prompt. This approach led to performance improvements of 16% in fault localization and 12% in vulnerability detection compared to the GPT-3.5, with a 4% improvement compared to the best-performed LLMs. Our analysis also indicates that the inclusion of explanations in the LLMs' results affects the effectiveness of the cross-validation technique.

研究の動機と目的

• GPT-3.5を越える多様な大規模言語モデル（LLM）が、障害局所化や脆弱性検出といった重要なSQAタスクでどのように性能を発揮するかを調査すること。
• モデルサイズ、アーキテクチャ、タスクの複雑さに応じたLLM間のパフォーマンスのばらつきを特定すること。
• アンサンブル手法（投票と検証プロンプトを用いた交差検証）を活用し、LLMベースのSQA結果を向上させること。
• 説明の質が交差検証の精練プロセスの効果に与える影響を評価すること。
• GPT-3.5のような単一モデルに依存するのではなく、SQAワークフローにおけるLLMの選択と組み合わせのベンチマークを提供すること。

提案手法

• 過去の研究から得られた標準化されたデータセットを用い、6つのLLM（GPT-3.5、GPT-4o、LLaMA-3-70B、LLaMA-3-8B、Gemma-7B、Mixtral-8x7B）を、2つのSQAタスクで比較した。
• 補完的な強みを統合するために、複数のLLMの予測結果を多数決によって決定する投票メカニズムを適用した。
• 交差検証アプローチを設計し、1つのLLMの出力を、別のLLMの応答を検証プロンプトを用いて精錬することで、出力を改善した。
• 障害局所化ではGPT-4oとLLaMA-3-70Bを、脆弱性検出ではGPT-4oとGemma-7Bを主な精錬ペアとして使用した。
• 障害局所化にはTop-1正答率、脆弱性検出にはF1スコアを標準指標として使用した。
• 結果の安定性を確保し、評価におけるランダムネスを低減するために、各LLMに対して3回の独立した実行を実施した。

Figure 1. Illustration of the proposed approach on cross-validating GPT-4o and LLaMA-3-70B

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5（SQA研究における現在のベースライン）と比較して、異なるLLMは障害局所化および脆弱性検出タスクでどの程度のパフォーマンスを発揮するか？
• RQ2 複数のLLMの予測を投票によって統合することで、個々のモデルを上回るSQAタスクのパフォーマンスが向上するか？
• RQ3 検証プロンプトを用いた交差検証は、SQAタスクにおけるLLM予測の正確性を顕著に向上させるか？
• RQ4 LLM出力に説明を含めることで、交差検証の精錬プロセスの効果にどのような影響が生じるか？
• RQ5 パrameter数が少ないにもかかわらず、Gemma-7Bのような小規模LLMは特定のSQAタスクで競争力を持つのか？

主な発見

• GPT-4oは障害局所化で最高のパフォーマンスを発揮し、GPT-3.5を16.24%上回るTop-1正答率を達成した。
• Gemma-7Bは、本研究で最も小さなモデルであるにもかかわらず、脆弱性検出でGPT-3.5を7.8%上回る正答率を示した。
• 投票メカニズムにより、障害局所化でGPT-3.5を13.7%、脆弱性検出で11.2%上回る性能を達成した。
• GPT-4oをLLaMA-3-70Bが精錬する交差検証により、GPT-3.5を16%上回り、LLaMA-3-70B単体よりも4.1%の向上を達成した。
• 脆弱性検出では、GPT-4oをGemma-7Bが精錬することで、GPT-3.5を12%上回り、GPT-4o単体よりも7.1%の向上を達成した。
• 交差検証の有効性は、LLM出力の説明の質に影響を受けており、Gemma-7Bのようなモデルは限定的な精錬能力を示した。

Figure 2. Validation prompt