[论文解读] LVMapper: A Large-variance Clone Detector Using Sequencing Alignment Approach

Ming Wu, Pengcheng Wang+4 more|arXiv (Cornell University)|Sep 10, 2019

Software Engineering Research参考文献 41被引用 4

一句话总结

LVMapper 是一种新颖的克隆检测工具，借鉴了生物信息学中的序列比对原理，通过使用带有动态阈值的种子-扩展策略，识别具有广泛变异的代码克隆——即修改分散或集中的克隆。它在合成数据集和真实世界数据集上均实现了卓越的召回率和精确率，优于当前最先进的工具如 CCAligner 和 SourcererCC，在检测高变异的 Type-3 克隆方面表现更优。

ABSTRACT

To detect large-variance code clones (i.e. clones with relatively more differences) in large-scale code repositories is difficult because most current tools can only detect almost identical or very similar clones. It will make promotion and changes to some software applications such as bug detection, code completion, software analysis, etc. Recently, CCAligner made an attempt to detect clones with relatively concentrated modifications called large-gap clones. Our contribution is to develop a novel and effective detection approach of large-variance clones to more general cases for not only the concentrated code modifications but also the scattered code modifications. A detector named LVMapper is proposed, borrowing and changing the approach of sequencing alignment in bioinformatics which can find two similar sequences with more differences. The ability of LVMapper was tested on both self-synthetic datasets and real cases, and the results show substantial improvement in detecting large-variance clones compared with other state-of-the-art tools including CCAligner. Furthermore, our new tool also presents good recall and precision for general Type-1, Type-2 and Type-3 clones on the widely used benchmarking dataset, BigCloneBench.

研究动机与目标

• 填补现有工具在检测大变异代码克隆（尤其是具有分散修改的克隆）方面的空白，这些克隆常被忽略。
• 提升对 Type-3 克隆的检测能力，这类克隆因语法差异大但语义相似而具有挑战性。
• 开发一种可扩展且精确的方法，即使在代码修改广泛且非集中时也能保持高性能。
• 克服现有工具的局限性，如 CCAligner 仅关注大间隙（集中）修改，以及 SourcererCC 在低阈值下牺牲准确性的缺陷。
• 通过识别具有同源性且高度修改的克隆，为软件工程任务（如错误检测、代码补全和重构）提供更好支持。

提出的方法

• 采用受第三代测序比对启发的种子-扩展策略，使用小而固定的连续行窗口（种子）高效定位候选克隆对。
• 应用启发式算法基于有序代码行序列的存在性来验证克隆，相比传统的最长公共子序列（LCS）计算更高效。
• 引入基于代码大小自适应的动态阈值机制，可在保持精确率的同时检测具有更高修改变异性的克隆。
• 在完整验证前，通过基于种子匹配的过滤步骤减少误报，从而最小化计算开销。
• 利用词法相似性和结构保留性作为克隆关系的指示器，聚焦于软件演化中常见的同源性修改。
• 实现可扩展的架构，高效处理大规模代码库，30M-LOC 数据集的运行时间约为 3 小时。

实验结果

研究问题

• RQ1 受序列比对启发的方法是否能有效检测具有分散修改的大变异代码克隆，超越当前工具的检测范围？
• RQ2 LVMapper 的动态阈值策略在不同代码修改程度下对召回率和精确率的影响如何？
• RQ3 LVMapper 在检测高变异的 Type-3 克隆方面，与当前最先进的工具（如 CCAligner、SourcererCC 和 CCFinderX）相比，优势有多大？
• RQ4 在真实世界软件项目和合成基准测试中，LVMapper 相较于现有方法在可扩展性和准确性方面的表现如何？
• RQ5 所提出的方法能否在同源性和异源性开发场景中均检测到克隆，特别是那些具有语义重叠但语法差异较大的克隆？

主要发现

• LVMapper 在检测大变异克隆方面显著优于 CCAligner，尤其在具有分散修改的场景中，而 CCAligner 无法捕捉此类克隆。
• 在 BigCloneBench 数据集上，LVMapper 对 Moderately Type-3 和 Weakly Type-3&4 克隆的召回率和精确率均优于其他工具，表明其在检测语法变体方面能力更强。
• 由于其动态阈值机制能根据代码大小和复杂度自适应调整，LVMapper 即使在高修改率下也能保持高精确率。
• LVMapper 展现出强大的可扩展性，在约 3 小时内完成 30M-LOC 代码库的处理，表明其在大规模软件仓库中的可行性。
• 启发式验证算法相比完整 LCS 计算显著降低了计算成本，同时保持了检测精度。
• 实验表明，在某些数据集中，大变异克隆占 Type-3 克隆的二分之一或以上，凸显了检测此类克隆的重要性。