[論文レビュー] Entropy Guided Spectrum Based Bug Localization Using Statistical Language Model

Saikat Chakraborty, Yujian Li+3 more|arXiv (Cornell University)|Feb 20, 2018

Software Engineering Research参考文献 48被引用数 7

ひとこと要約

本稿では、統計的言語モデルを用いて測定されるコードのエントロピーを組み込むことで、スペクトラムベースのバグロケーション（SBL）を強化するハイブリッド手法EnSpecを提案する。SBLスコアとエントロピーに基づく不審度を組み合わせることで、EnSpecはSBL単体よりも優れた性能を示し、特にテストカバレッジが低い状況でも有効である。本手法はJavaおよびCプロジェクトの両方で有効であることが示された。

ABSTRACT

Locating bugs is challenging but one of the most important activities in software development and maintenance phase because there are no certain rules to identify all types of bugs. Existing automatic bug localization tools use various heuristics based on test coverage, pre-determined buggy patterns, or textual similarity with bug report, to rank suspicious program elements. However, since these techniques rely on information from single source, they often suffer when the respective source information is inadequate. For instance, the popular spectrum based bug localization may not work well under poorly written test suite. In this paper, we propose a new approach, EnSpec, that guides spectrum based bug localization using code entropy, a metric that basically represents naturalness of code derived from a statistical language model. Our intuition is that since buggy code are high entropic, spectrum based bug localization with code entropy would be more robust in discriminating buggy lines vs. non-buggy lines. We realize our idea in a prototype, and performed an extensive evaluation on two popular publicly available benchmarks. Our results demonstrate that EnSpec outperforms a state-of-the-art spectrum based bug localization technique.

研究の動機と目的

• テストスイートのコードカバレッジが低いか、バグのある行を区別できない場合に生じるスペクトラムベースのバグロケーション（SBL）の限界を解消すること。
• 統計的言語モデルを用いて不自然さを測定するコードエントロピーが、バグのあるコードを特定するための信頼性があり、直交的な信号として機能するかを調査すること。
• バグレポートや広範なテストカバレッジに依存せず、ソースコードのみを入力とすることで動作する、言語に依存しない故障ロケーション技術を開発すること。
• SBLとエントロピーを組み合わせた手法が、プロジェクト内およびクロスプロジェクトの故障ロケーション設定においてどれほど有効であるかを評価すること。

提案手法

• ソースコードを用いてn-gramの統計的言語モデルを学習し、各プログラム行のエントロピーを計算する。エントロピーが高いほど自然さが低く、バグの可能性が高くなる。
• テスト実行データ（成功・失敗のテストカバレッジ）を用いて、標準的なスペクトラムベースの不審度スコアを計算する。
• 機械学習モデル（例：ロジスティック回帰）を用いてエントロピー スコアとSBL不審度スコアを統合し、最終的な不審度順位付きの行リストを生成する。
• エントロピーとスペクトラム情報の両方を重み付けするハイブリッドスコア関数を用いて、順位付けの精度を向上させる。
• 2つの公開ベンチマーク（Defects4J（Java）およびManyBugs（C））を用いて評価し、500件以上のバグと3,715件の不正な行をカバーする。
• 歴史的バグデータが限られる実世界の状況を想定し、一般化能力と頑健性を評価するためのクロスプロジェクト評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 統計的言語モデルから導出されるコードエントロピーは、バグのあるコードを示す信頼性のある指標として機能するか？
• RQ2 SBLとエントロピーを組み合わせることで、SBL単体と比較して故障ロケーションの正確性が向上するか？
• RQ3 歴史的バグデータが限られる状況におけるクロスプロジェクトの故障ロケーションにおいて、EnSpecはどのように性能を発揮するか？
• RQ4 提案手法は、JavaやCのような異なるプログラミング言語においても有効かつ一般化可能か？

主な発見

• EnSpecは、追加の不審度信号としてコードエントロピーを統合することで、標準的なSBLよりも故障ロケーションの正確性を顕著に向上させる。
• SBLとエントロピーの統合により、高カバレッジのテストスイートに依存する必要が軽減され、テストカバレッジが低い場合でも頑健な性能を示す。
• EnSpecはプロジェクト内およびクロスプロジェクトの両設定でSBLを上回り、異なるソフトウェアプロジェクト間での一般化能力を示している。
• 本手法はプログラミング言語にかかわらず有効であり、JavaおよびCプロジェクトの両方で一貫した改善効果を示している。
• コードエントロピーはバグのある行と正の相関関係にあり、自然さが低い（エントロピーが高い）コードは故障を含む可能性が高いことが確認された。
• バグレポートや外部メタデータを必要としないため、こうしたデータが入手困難な開発初期段階でも適用可能である。