[論文レビュー] The Remarkable Role of Similarity in Redundancy-based Program Repair

Zimin Chen, Martin Monperrus|arXiv (Cornell University)|Nov 14, 2018

Software Engineering Research参考文献 40被引用数 18

ひとこと要約

本稿は、再現性に基づくプログラム修復におけるコード類似度の役割を、1,500万個のコードコンポonentを対象に、文字、トークン、意味的、構造的の4つの類似度メトリクスを体系的に分析することで調査している。類似度分析により、少なくとも90%の探索空間を削減可能であり、TFIDFでは最大99.56%まで削減可能である。また、文脈を含めた場合、正解の修復要因が4–33%のケースで最初にランク付けされる。

ABSTRACT

Recently, there have been original attempts to use the concept of "code similarity" in program repair, suggesting that similarity analysis has an important role in the repair process. However, there is no dedicated work to characterize and quantify the role of similarity in redundancy-based program repair, where the patch is composed from source code taken from somewhere else. This is where our paper makes a major contribution: we perform a deep and systematic analysis of the role of code similarity during the exploration of the repair search space. We define and set up a large-scale experiment based on four code similarity metrics that capture different similarities: character, token, semantic and structure similarity. Overall, we have computed 56 million similarity score over 15 million source code components. We show that with similarity analysis, at least 90% of search space can be ignored to find the correct patch. Code similarity is capable of ranking the correct repair ingredient first in 4 - 33 % of the considered cases.

研究の動機と目的

• 再現性に基づくプログラム修復におけるコード類似度の役割を体系的かつ定量的に特徴づけること。
• 文字、トークン、意味的、構造的の異なる類似度メトリクスが、修復の探索空間の縮小に与える影響を評価すること。
• 不具合文の周囲の文脈情報を含めることで、類似度に基づく修復効果に与える影響を調査すること。
• 故障特定やパッチ検証などの他の要因とは独立して、類似度の役割を原理的かつ制御された分析で行うこと。
• 類似度を用いて修復要因を優先順位付けし、妥当ではあるが誤ったパッチに過剰適合するのを避けるための実証的証拠を提供すること。

提案手法

• ランダム性、故障特定、検証を排除し、再現性に基づく修復プロセスにおいて類似度分析を唯一の要因として隔離し、類似度そのものに焦点を当てる。
• 4つの類似度メトリクス（文字：n-gram、トークン：ASTベース、意味的：埋め込みベース、構造的：ASTツリー類似度）を定義し、多様なコード類似度を捉える。
• 実際のコミットから214の実世界の修復タスクを構築し、それぞれをランク付け問題として定式化：正しさの可能性が高い順に候補となる修復要因をランク付けする。
• 不具合の削除された文と候補となる修復文との類似度、およびそれらの周囲の文脈との類似度を測定する。
• TF-IDF、トークン、意味的、構造的類似度スコアを用いて修復候補をランク付けし、正解パッチが上位に来る性能を評価する。
• 1,500万個のコードコンポーネントを対象に、合計5,600万回の類似度スコアを大規模に計算し、統計的妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 コード類似度は、再現性に基づくプログラム修復において、どの程度探索空間を縮小できるか？
• RQ2 文字、トークン、意味的、構造的の異なる類似度メトリクスは、正解の修復要因をどの程度効果的にランク付けできるか？
• RQ3 不具合文の周囲の文脈情報を含めることで、類似度に基づく修復の効果性は向上するか？
• RQ4 文脈に配慮した類似度は、探索空間の縮小とランク付けの正確性にどのような影響を与えるか？
• RQ5 4つの類似度メトリクスは互いにどの程度相関し、修復の有効性と関係があるか？

主な発見

• 類似度分析により、修復の探索空間を少なくとも91.87%まで縮小可能であり、TFIDFメトリクスでは最大99.56%まで縮小可能である。
• 正解の修復要因が、類似度メトリクスに応じて4–33%のケースで最初にランク付けされる。TFIDFは30%で最高のパフォーマンスを示した。
• 不具合文のメソッドレベルの文脈を含めることで、類似度ベースのランク付けが向上し、文脈なしの分析に比べて探索空間がさらに24%削減された。
• TFIDFは最高の有効性を示し、正解の修復要因とそのドナー文脈を多くのケースで候補の上位1%内にランク付けした。
• 純粋に構文的な類似度（例：トークンや文字レベル）と修復の有効性との強い相関が確認されたことから、ハイブリッドな類似度アプローチの可能性が示唆された。
• 類似度ベースのランク付けは、妥当ではあるが誤ったパッチに過剰適合するのを効果的に回避し、意味的・構造的に関連性のあるコードスニペットを優先する。