[论文解读] Bridging Expert Knowledge with Deep Learning Techniques for Just-In-Time Defect Prediction

Xin Zhou, DongGyun Han+1 more|arXiv (Cornell University)|Mar 17, 2024

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

该论文提出 SimCom++，一种新颖的融合框架，通过早期融合与晚期融合策略，将基于专家知识的手工特征（简单模型）与深度学习提取的语义特征（复杂模型）相结合。该方法在关键指标上显著优于最先进基线模型，提升幅度达 5.7%–26.9%，表明融合专家知识与深度学习特征可有效提升即时缺陷预测性能。

ABSTRACT

Just-In-Time (JIT) defect prediction aims to automatically predict whether a commit is defective or not, and has been widely studied in recent years. In general, most studies can be classified into two categories: 1) simple models using traditional machine learning classifiers with hand-crafted features, and 2) complex models using deep learning techniques to automatically extract features from commit contents. Hand-crafted features used by simple models are based on expert knowledge but may not fully represent the semantic meaning of the commits. On the other hand, deep learning-based features used by complex models represent the semantic meaning of commits but may not reflect useful expert knowledge. Simple models and complex models seem complementary to each other to some extent. To utilize the advantages of both simple and complex models, we propose a model fusion framework that adopts both early fusions on the feature level and late fusions on the decision level. We propose SimCom++ by adopting the best early and late fusion strategies. The experimental results show that SimCom++ can significantly outperform the baselines by 5.7--26.9\%. In addition, our experimental results confirm that the simple model and complex model are complementary to each other.

研究动机与目标

• 为解决现有 JIT 缺陷预测模型的局限性，这些模型或仅依赖手工特征（缺乏语义深度），或仅依赖深度学习（缺乏可解释性与专家洞察）。
• 探究结合简单模型（基于专家知识）与复杂模型（基于深度学习）是否能优于单独使用任一方法。
• 设计一种多模态融合框架，利用特征级（早期）与决策级（晚期）融合，整合简单模型与复杂模型的互补优势。
• 评估所提框架在不同软件项目中的鲁棒性与泛化能力，包括在排除大尺寸提交（large commits）的条件下。

提出的方法

• 该框架采用基于手工设计、专家知识驱动的特征的简单模型，如代码变更大小、变更频率（churn）和历史缺陷率。
• 利用深度学习模型（SimCom++ 中的 Com 模型）通过神经网络自动从提交日志和代码变更中提取语义表征。
• 早期融合在分类前将两个模型的原始特征进行结合，实现低级与高级模式的联合学习。
• 晚期融合通过加权平均或堆叠方法结合简单模型与复杂模型的预测得分，使模型能够学习最优决策边界。
• 最终的 SimCom++ 模型采用混合训练策略进行端到端训练，同时优化早期与晚期融合组件。
• 框架在多个开源项目上使用标准指标（AUC-ROC、AUC-PR 和 F1 评分）进行评估。

实验结果

研究问题

• RQ1 将基于专家知识的特征与深度学习提取的语义特征相结合，是否能超越最先进模型，提升 JIT 缺陷预测性能？
• RQ2 在 JIT 缺陷预测中，简单模型（基于专家知识）与复杂模型（基于深度学习）之间是否存在互补关系？
• RQ3 当训练和测试数据中排除大尺寸提交时，所提出的融合框架是否仍能保持优越性能？
• RQ4 早期融合与晚期融合策略在提升组合模型预测能力方面如何比较？

主要发现

• SimCom++ 显著优于所有基线模型，在 AUC-ROC 上平均提升 5.7%，在 AUC-PR 上提升 12.5%，在 F1 评分上提升 17.9%。
• 与最强基线相比，SimCom++ 在 AUC-ROC 上最高提升达 26.9%，证实了融合策略的有效性。
• 在所有评估指标与项目中，该框架始终优于单独的简单模型与复杂模型，平均提升 4.4%–10.1%。
• 即使排除前 10%–40% 的大尺寸提交，SimCom++ 仍比最佳基线在 AUC-ROC 上提升 9.5%，在 AUC-PR 上提升 16.1%，在 F1 评分上提升 13.5%，表明其具有强鲁棒性。
• 结果证实，专家知识与深度学习特征具有互补性，通过多模态融合整合二者可获得更优的预测性能。
• 消融实验表明，早期融合与晚期融合均对最终性能有显著贡献，其中晚期融合在决策校准方面发挥尤为关键作用。