[論文レビュー] Smelling out Code Clones: Clone Detection Tool Evaluation and Corresponding Challenges

Rachel Gauci|arXiv (Cornell University)|Mar 2, 2015

Software Engineering Research参考文献 4被引用数 3

ひとこと要約

この論文は、リファレンスコーパスの欠如、設定感度、不適切なベンチマーキングといった、ツール評価における課題を特定し、最適なツール設定を自動で特定するフィtness関数を用いたEvaCloneというフレームワークを導入する。このフレームワークにより、Javaシステムではリcallが最大21.9%、Cシステムでは10.6%向上し、比較的評価の妥当性が向上する。

ABSTRACT

Software clones have been an active area of research for the past two decades. However, although numerous clone detection tools are now available, only a small fraction of the literature has focused on tool evaluation, and this is in fact still an open problem. This is mostly due to the fact that standard information retrieval metrics such as recall and precision require a priori knowledge of clones already in the system. Detection tools also typically have a large number of parameters which are difficult to fine-tune for optimal performance on a particular software system, and different outputs produced by different tools add to the complexity of comparing one tool to another. In this review, we further explore the reasons why tool evaluation is still an open challenge, and present the current tools and frameworks targeted at mitigating these problems, focusing on the current standard benchmarks used to evaluate modern clone detection tools, and also presenting a recent method aimed at finding optimal tool configurations.

研究の動機と目的

• リファレンスコーパスの欠如や設定感度の影響により、継続的にコピーサブミッションツールの評価に課題が残っていることの調査。
• Bellonのフレームワークやマッピュレーション・インジェクションフレームワークといった既存ベンチマークが、妥当なツール比較を保証する点での限界の評価。
• 評価の信頼性を向上させるために、最適なツール設定を自動特定するEvaCloneというフレームワークの提案と評価。
• デフォルト設定がツール評価において顕著に性能を低下させることを実証し、最適なチューニングによってリcallと精度が著しく向上することの特定。
• 標準的で代表的なベンチマークと、リcallと精度のバランスを取るフィtness関数の必要性の強調。

提案手法

• リファレンスコーパスの生成のため、コピーサブミッション評価に標準的なベンチマークとしてBellonのフレームワークとマッピュレーション・インジェクションフレームワークを用いる。
• EvaCloneにおけるフィtness関数を用い、ツール間の一致を最大化することで、コピーサブミッション検出ツールの最適な設定パrameterを同定する。
• 複数のソフトウェアシステム（例：psql、swing）において、ツールパrameterを体系的にチューニングすることで検出性能を向上させるアプローチを採用する。
• デフォルト設定と最適化済み設定の両方を用いてツールのパフォーマンスを比較し、設定チューニングがリcallと精度に与える影響を定量的に評価する。
• 既存の評価手法の妥当性の脅威（特にデフォルト設定への過剰依存や、リcallを優先するフィtness関数）を分析する。
• オープンソースシステムを用いて結果を検証するが、プロプライエタリーソフトウェアや非オープンソースシステムへの一般化可能性に制限があることを認識する。

実験結果

リサーチクエスチョン

• RQ1 70以上の検出ツールが利用可能であるにもかかわらず、なぜコピーサブミッション検出におけるツール評価は依然としてオープンチャレンジと見なされているのか？
• RQ2 コピーサブミッションツールにおけるデフォルト設定がリcallと精度に与える影響はどの程度で、その影響をどのように軽減できるか？
• RQ3 EvaCloneフレームワークは、最適なツール設定を特定するうえで、検出パフォーマンスの向上にどの程度有効であるか？
• RQ4 Bellonのフレームワークやマッピュレーション・インジェクションフレームワークといった既存ベンチマークが、コピーサブミッション評価において抱える主な制限は何か？
• RQ5 ツール間の一致を最大化するフィtness関数は、リcallを過剰に増加させることでバイアスを生じさせる可能性があり、特に精度を犠牲にすることはないか？

主な発見

• デフォルト設定では評価の妥当性が著しく低下する。最適化設定を用いることで、Javaシステムではリcallが最大21.9%、Cシステムでは10.6%向上した。
• EvaCloneのフィtness関数は、ツール間の一致を最大化するが、リcallを優先する傾向があり、偽陽性率の上昇を招く可能性がある。
• Bellonらの研究における14のツールのうち、わずか2つしかチューニング済み設定で提出されていなかった。これは、性能が最適でないにもかかわらず、デフォルト設定が広く使われていることを示している。
• デフォルト設定を用いた実証的調査は、最適化設定を用いた場合に顕著なパフォーマンス向上が得られたことから、妥当性の脅威にさらされている。
• Svajlenkoらの研究で現代的なツールを評価した場合、デフォルト設定ではなく最適な設定を用いて評価していたならば、結果は著しく変化していた可能性がある。
• 技術的進歩にもかかわらず、既存のベンチマークや評価フレームワークは、依然としてオープンソースシステムに依存していることや、産業用ソフトウェアへの一般化可能性に欠けるなどの制限を抱えている。