[論文レビュー] LVMapper: A Large-variance Clone Detector Using Sequencing Alignment Approach

Ming Wu, Pengcheng Wang+4 more|arXiv (Cornell University)|Sep 10, 2019

Software Engineering Research参考文献 41被引用数 4

ひとこと要約

LVMapperは、生物学的配列アラインメントの原則を応用した新規なクローン検出ツールであり、スパarserな変更（散在または集中的な変更）を示す大規模ばらつきコードクローンを、動的しきい値を用いたシード＆エクステンド戦略で特定する。合成および実世界のデータセットにおいて、CCAligner や SourcererCC といった最先端ツールを上回る再現率と正確度を達成し、大規模ばらつきを示すType-3クローンの検出に優れた性能を発揮する。

ABSTRACT

To detect large-variance code clones (i.e. clones with relatively more differences) in large-scale code repositories is difficult because most current tools can only detect almost identical or very similar clones. It will make promotion and changes to some software applications such as bug detection, code completion, software analysis, etc. Recently, CCAligner made an attempt to detect clones with relatively concentrated modifications called large-gap clones. Our contribution is to develop a novel and effective detection approach of large-variance clones to more general cases for not only the concentrated code modifications but also the scattered code modifications. A detector named LVMapper is proposed, borrowing and changing the approach of sequencing alignment in bioinformatics which can find two similar sequences with more differences. The ability of LVMapper was tested on both self-synthetic datasets and real cases, and the results show substantial improvement in detecting large-variance clones compared with other state-of-the-art tools including CCAligner. Furthermore, our new tool also presents good recall and precision for general Type-1, Type-2 and Type-3 clones on the widely used benchmarking dataset, BigCloneBench.

研究の動機と目的

• 既存のツールがしばしば見逃す、散在的な変更を示す大規模ばらつきコードクローンの検出におけるギャップを埋める。
• 構文的乖離が見られるが意味的類似性があるため困難なType-3クローンの検出を改善する。
• コード変更が広範かつ非集中的であっても、高い性能を維持できるスケーラブルで正確な手法を開発する。
• CCAligner は大スパンの（集中的）変更にのみ注目するのに対し、SourcererCC は低しきい値で正確度を犠牲にするという既存ツールの限界を克服する。
• バグ検出、コード補完、リファクタリングなどのソフトウェア工学タスクを支援するため、同源的で大幅に変更されたクローンを特定する。

提案手法

• 第三世代シーケンシングアラインメントにインspiredしたシード＆エクステンド戦略を採用し、固定サイズの連続行ウィンドウ（シード）を用いて、候補となるクローンペアを効率的に特定する。
• 順序を保持するコード行のシーケンスの存在に基づいてクローンを検証するヒューリスティックアルゴリズムを適用し、従来の最長共通部分列（LCS）計算よりも効率的である。
• コードサイズに応じてしきい値を動的に調整するメカニズムを導入し、変更ばらつきが大きいクローンを検出しつつも正確度を維持する。
• 完全な検証の前に、シードマッチングに基づくフィルタリングステップを実装し、誤検出を低減するとともに計算コストを最小限に抑える。
• 語彙的類似性と構造的保存性を、ソフトウェア進化において一般的な同源的変更を示す指標として活用する。
• 大規模コードベースを効率的に処理できるスケーラブルなアーキテクチャを実装し、30M-LOCのデータセットで約3時間の実行時間で処理を完了する。

実験結果

リサーチクエスチョン

• RQ1 配列アラインメントにインspiredしたアプローチは、現在のツールの範囲を超え、散在的な変更を示す大規模ばらつきコードクローンを効果的に検出できるか？
• RQ2 LVMapperの動的しきい値戦略は、コード変更の度合いが異なる状況下で再現率と正確度にどのように影響を与えるか？
• RQ3 CCAligner や SourcererCC、CCFinderX といった最先端ツールに比べ、LVMapperは大規模ばらつきを示すType-3クローンの検出においてどの程度優れているか？
• RQ4 実世界のソフトウェアプロジェクトおよび合成ベンチマークにおいて、LVMapperはスケーラビリティと正確度の観点で既存手法を上回る性能を示すか？
• RQ5 提案手法は、意味的類似性はあるが構文的乖離がある同源的および異源的開発シナリオにおけるクローンを検出できるか？

主な発見

• LVMapperは、散在的な変更を示す大規模ばらつきクローンの検出において、CCAligner より顕著に優れた性能を示し、CCAligner が捉え損ねるケースでも検出を実現する。
• BigCloneBench データセットにおいて、LVMapperは他のツールと比較して、中程度のType-3および弱いType-3&4クローンの再現率と正確度が優れており、構文的変種の検出能力の向上を示している。
• 動的しきい値メカニズムにより、変更率が高くても高い正確度を維持する。このメカニズムはコードサイズと複雑さに応じて適応する。
• LVMapperは優れたスケーラビリティを示し、30M-LOCのコードベースを約3時間で処理可能であり、大規模なソフトウェアリポジトリへの適用可能性を示している。
• ヒューリスティック検証アルゴリズムにより、完全なLCS計算に比べて計算コストを削減しつつも、検出正確度を保持している。
• 実験の結果、一部のデータセットでは大規模ばらつきクローンがType-3クローンの半数以上を占めることが判明し、こうしたクローンの検出の重要性が強調された。