[論文レビュー] Harvesting Fix Hints in the History of Bugs

Tegawendé F. Bissyandé|arXiv (Cornell University)|Jul 21, 2015

Hemiptera Insect Studies参考文献 20被引用数 7

ひとこと要約

本稿では、過去のバグレポートおよびその修正を活用して、新しいバグのための実行可能な修正ヒントを提案する、RECOMMENDと呼ばれる修正推薦システムを提案する。情報検索、バグリンク、意味的パッチ推論を統合することで、SVMとLDAトピックを用いたバグレポート分類において83%の精度と74%の再現率を達成し、ソフトウェアデバッグの高速化の可能性を示している。

ABSTRACT

In software development, fixing bugs is an important task that is time consuming and cost-sensitive. While many approaches have been proposed to automatically detect and patch software code, the strategies are limited to a set of identified bugs that were thoroughly studied to define their properties. They thus manage to cover a niche of faults such as infinite loops. We build on the assumption that bugs, and the associated user bug reports, are repetitive and propose a new approach of fix recommendations based on the history of bugs and their associated fixes. In our approach, once a bug is reported, it is automatically compared to all previously fixed bugs using information retrieval techniques and machine learning classification. Based on this comparison, we recommend top-{\em k} fix actions, identified from past fix examples, that may be suitable as hints for software developers to address the new bug.

研究の動機と目的

• 過去のバグ修正に基づく実行可能な修正ヒントの推薦により、修正までの時間を短縮し、ソフトウェア保守性を向上させること。
• 年間数千件のバグ報告に対するトリアージおよび修正作業の負担を軽減すること。
• 特にテストカバレッジが限られているプロジェクトにおいて、過去に解決済みのバグからのパターン再利用によって修正率を向上させること。
• 開発者に、重要なコード変更や再利用可能なパターンを強調する汎用的で意味的に意味のある修正ヒントを提供すること。
• バグレポート履歴を自動修正推薦の知識ベースとして用いる可能性を検討すること。

提案手法

• LDAベースのトピックモデリングを用いて、新規バグレポートと履歴レポートを比較する情報検索技術を採用する。
• ヒューリスティックに基づくバグリンク（例：コミットログ内の「Bug #」）を用いて、過去のバグレポートとその対応する修正を関連付ける。
• spdiffツールを用いた意味的パッチ推論により、具体的なコードパッチから繰り返し現れる修正パターンを抽出する。
• LDAで符号化されたバグレポート特徴量を用いてSVM分類器を学習し、バグのカテゴリを予測し、類似した過去の修正を推薦する。
• 修正アクションを、再利用可能な論理（例：kmallocの戻り値のチェック）と文脈依存的要素に分離して要約する。
• 実世界のプロジェクトでの評価を目的として、RECOMMENDというプロトタイプシステムに修正推薦を統合する。

実験結果

リサーチクエスチョン

• RQ1 過去のバグレポートおよびその修正を、新しいバグのための実行可能な修正ヒントの推薦に効果的に活用できるか？
• RQ2 LDAとSVMを用いたバグレポート類似度モデリングは、関連する過去の修正を予測する上でどれほど正確か？
• RQ3 特定の修正アクション（例：ヌルポ인터のチェック）が、さまざまなバグ修正でどれほど繰り返し発生するか？
• RQ4 バグレポートの品質と構造は、修正推薦システムのパフォーマンスにどのように影響するか？
• RQ5 過去の修正から導出された汎用的ヒントは、デバッグにおける開発者の生産性を向上させられるか？

主な発見

• 提案手法は、SVMとLDA特徴量を用いた10折り交差検証において、バグレポート分類で83%の精度と74%の再現率を達成した。
• 分析したパッチの50%以上が、同じ修正アクション—kmallocの戻り値のチェック—を共有しており、共通パターンの強い再発を示している。
• バグレポート本文およびコメントのトピックモデリングは、コードスニペットや実行出力のノイズのため、結果が悪く、LDAの有効性が制限された。
• 「コミットログに'Bug #'が含まれる」といった単純なヒューリスティクスでは約400組のバグ-修正ペアを回復できたが、包括的なカバレッジを得るにはより高度なリンク戦略が必要である。
• 現在の実装は明示的なバグリンクに依存しているため、システムのスケーラビリティを高めるために、より汎用的なバグリンク技術の開発が不可欠である。
• spdiffを用いた意味的パッチ推論は、類似しないパッチ部分のプルーニングが計算的に高コストであるため、パフォーマンス最適化がなければスケーラブルではない。