[論文レビュー] Fault Localization with Code Coverage Representation Learning

Yi Li, Shaohua Wang+1 more|arXiv (Cornell University)|Feb 27, 2021

Software Engineering Research参考文献 51被引用数 4

ひとこと要約

この論文は、コードカバレッジ表現学習、ステートメント依存関係、およびソースコード表現を活用することで、障害局所化を画像パターン認識問題として扱う深層学習アプローチ、DeepRL4FLを提案する。これは、既存のステートメントレベルベースラインに対して491.7%、メソッドレベルベースラインに対して206.3%のトップ1障害局所化精度の向上を達成し、最先端の性能を実現している。

ABSTRACT

In this paper, we propose DeepRL4FL, a deep learning fault localization (FL) approach that locates the buggy code at the statement and method levels by treating FL as an image pattern recognition problem. DeepRL4FL does so via novel code coverage representation learning (RL) and data dependencies RL for program statements. Those two types of RL on the dynamic information in a code coverage matrix are also combined with the code representation learning on the static information of the usual suspicious source code. This combination is inspired by crime scene investigation in which investigators analyze the crime scene (failed test cases and statements) and related persons (statements with dependencies), and at the same time, examine the usual suspects who have committed a similar crime in the past (similar buggy code in the training data). For the code coverage information, DeepRL4FL first orders the test cases and marks error-exhibiting code statements, expecting that a model can recognize the patterns discriminating between faulty and non-faulty statements/methods. For dependencies among statements, the suspiciousness of a statement is seen taking into account the data dependencies to other statements in execution and data flows, in addition to the statement by itself. Finally, the vector representations for code coverage matrix, data dependencies among statements, and source code are combined and used as the input of a classifier built from a Convolution Neural Network to detect buggy statements/methods. Our empirical evaluation shows that DeepRL4FL improves the top-1 results over the state-of-the-art statement-level FL baselines from 173.1% to 491.7%. It also improves the top-1 results over the existing method-level FL baselines from 15.0% to 206.3%.

研究の動機と目的

• 通過および失敗テストケースの両方で実行されるステートメントを区別できない、スペクトラムベースおよびミューテーションベースの障害局所化の限界を解消する。
• 要約された不審度スコアに依存するが、完全なコードカバレッジパターンではなく、既存の深層学習FLアプローチの短所を克服する。
• 動的コードカバレッジ情報と静的コード表現、およびデータ依存関係を統合することで、障害局所化の精度を向上させる。
• 強化されたコードカバレッジ行列を用いたエンドツーエンドの深層学習により、ステートメントレベルおよびメソッドレベルの両方でより効果的な障害局所化を実現する。
• 歴史的バグデータとプログラム構造を活用して、一般化能力を向上させ、微細または複雑な障害の検出を改善する。

提案手法

• 同じステートメントを実行するテストケースをコードカバレッジ行列内でグループ化するように再順序付けを行い、CNN処理に適した空間的パターンを強化する。
• 再順序付けられたコードカバレッジ行列に対して表現学習を適用し、不正なステートメントと正常なステートメントを区別する特徴を抽出する。
• 実行およびデータフロー情報を利用してステートメント間のデータ依存関係をモデル化し、カバレッジのみに依存する不審度スコアを拡張する。
• 静的プログラム構造を用いてソースコードのベクトル表現を学習し、動的カバレッジおよび依存関係特徴を補完する。
• コードカバレッジ表現、依存関係表現、およびソースコード表現を統合し、CNN分類器のための統一された入力として組み合わせる。
• 融合された表現入力を用いて、CNNを訓練し、ステートメントおよびメソッドが不具合を含むか否かを分類する。

実験結果

リサーチクエスチョン

• RQ1 従来のスペクトラムベース手法と比較して、コードカバレッジ行列に対する深層表現学習が障害局所化精度を向上させることができるか？
• RQ2 コードカバレッジパターンと組み合わせた場合、ステートメント間のデータ依存関係は、どの程度障害局所化を向上させるか？
• RQ3 動的カバレッジおよび依存関係特徴と静的コード表現を統合することで、障害局所化パフォーマンスにどのような影響を与えるか？
• RQ4 強化されたコードカバレッジ行列を用いて訓練されたCNNベースのモデルは、既存の最先端の障害局所化技術を上回ることができるか？
• RQ5 本手法は、異なるプログラミング言語や障害タイプ、特にレアまたは複雑なバグに対して、どの程度の性能を示すか？

主な発見

• Defects4Jデータセットにおいて、DeepRL4FLは、最良のステートメントレベルベースラインに対してトップ1障害局所化精度を491.7%向上させた。
• ManyBugsデータセットでは、DeepRL4FLはトップ1精度14.6%を達成し、既存のステートメントレベルベースラインを著しく上回った。
• メソッドレベルの障害局所化において、DeepRL4FLはDefects4Jでトップ1精度62.0%を達成し、既存のメソッドレベルベースラインに対して206.3%の改善を示した。
• モデルの性能はテストケースの品質に敏感である。テストケースが疎であったり、不具合のあるコードからクラッシュ場所が離れている場合には、性能が劣化する。
• すべてのベースライン手法と同様に、ステートメントの追加を要する障害ではモデルの性能が劣るため、構造的コード変更の処理に限界があることが示された。
• 短いメソッドでは、十分なステートメント依存関係が得られないため、モデルの性能が著しく低下する。これは、表現学習におけるプログラム構造の重要性を強調している。