[论文解读] CUPID: Leveraging ChatGPT for More Accurate Duplicate Bug Report Detection

Ting Zhang, Ivana Clairine Irsan+2 more|arXiv (Cornell University)|Aug 19, 2023

Software Engineering Research被引用 5

一句话总结

Cupid 提出一种混合方法，利用 OpenAI 的 ChatGPT 在零样本设置下从错误报告中提取关键语义信息，随后将这些信息输入到最先进的传统 DBRD 方法 REP 中。该组合实现了新的 SOTA 性能，Recall Rate@10 分数范围为 0.59 至 0.67，相较于先前的深度学习和传统方法最高提升 79.2%。

ABSTRACT

Duplicate bug report detection (DBRD) is a long-standing challenge in both academia and industry. Over the past decades, researchers have proposed various approaches to detect duplicate bug reports more accurately. With the recent advancement of deep learning, researchers have also proposed several deep learning-based approaches to address the DBRD task. In the bug repositories with many bug reports, deep learning-based approaches have shown promising performance. However, in the bug repositories with a smaller number of bug reports, i.e., around 10k, the existing deep learning approaches show worse performance than the traditional approaches. Traditional approaches have limitations, too, e.g., they are usually based on the bag-of-words model, which cannot capture the semantics of bug reports. To address these aforementioned challenges, we seek to leverage a state-of-the-art large language model (LLM) to improve the performance of the traditional DBRD approach. In this paper, we propose an approach called CUPID, which combines the bestperforming traditional DBRD approach (i.e., REP) with the state-of-the-art LLM (i.e., ChatGPT). We conducted an evaluation by comparing CUPID with three existing approaches on three datasets. The experimental results show that CUPID achieves state-of-theart results, reaching Recall Rate@10 scores ranging from 0.602 to 0.654 across all the datasets analyzed. In particular, CUPID improves over the prior state-ofthe-art approach by 5% - 8% in terms of Recall Rate@10 in the datasets. CUPID also surpassed the state-of-the-art deep learning-based DBRD approach by up to 82%.

研究动机与目标

• 为解决基于深度学习的重复错误报告检测（DBRD）在典型规模仓库（约 10k 个问题）中表现不佳的问题，这些仓库的数据集太小，难以有效训练模型。
• 克服传统 DBRD 方法的局限性，这些方法依赖词袋模型，无法捕捉语义含义。
• 探索大型语言模型（LLMs）如 ChatGPT 是否能在低数据环境下通过提取有意义的语义特征来提升 DBRD 准确率。
• 评估提示工程和 LLM 选择对混合 DBRD 系统性能的影响。

提出的方法

• 在零样本设置下使用 ChatGPT 分析每个错误报告，提取关键语义关键词和短语。
• 将提取的关键信息作为输入提供给 REP 算法，这是一种基于语义相似性和特征工程的高性能传统 DBRD 方法。
• 设计并评估多种提示模板和选择规则，以优化 ChatGPT 提取信息的质量。
• 将 Cupid 的性能与三个基线进行比较：先前的 SOTA 深度学习模型 SABD、传统 REP 方法，以及使用 Llama 2-13B 的强基线。
• 在三个真实世界的数据集上进行实验，其规模典型（约 10k 个问题），以确保对常见项目规模的泛化能力。
• 使用 Recall Rate@10 作为主要指标，衡量在前 10 个结果中检索重复报告的有效性。

实验结果

研究问题

• RQ1 RQ1：在典型规模的问题仓库（约 10k 个问题）中，集成像 ChatGPT 这样的大型语言模型是否能显著提升传统 DBRD 方法的性能？
• RQ2 RQ2：不同的提示模板和选择规则如何影响 Cupid 中基于 LLM 的信息提取步骤的性能？
• RQ3 RQ3：Cupid 在 Recall Rate@10 方面与最先进的基于深度学习和传统 DBRD 方法相比如何？
• RQ4 RQ4：开源 LLM 如 WizardLM-13B、Vicuna-13B 和 Llama 2-13B-Chat 是否能在该 DBRD 设置中实现与 ChatGPT 相当的性能？

主要发现

• Cupid 在所有三个评估数据集上均实现了 0.59 至 0.67 的 Recall Rate@10 分数，代表了典型仓库中 DBRD 的新 SOTA。
• Cupid 在 Recall Rate@10 上相较于先前的 SOTA 深度学习方法（SABD）最高提升 79.2%，表明性能有显著提升。
• Cupid 在 Recall Rate@10 上相较于表现最佳的传统方法（REP）提升 6.7% 至 8.7%，表明在低数据环境下，LLM 增强的传统方法可超越纯深度学习模型。
• 提示工程显著影响性能，优化的模板和选择规则可明显提升提取特征的质量。
• WizardLM-13B 的性能与 ChatGPT 相当，仅在 Recall Rate@10 上下降 2%，表明开源 LLM 在此任务中具有巨大潜力。
• 本研究表明，ChatGPT 的性能并非源于数据记忆，因为它在不同提示结构下未表现出不切实际的高分，降低了数据泄露的担忧。