[論文レビュー] An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation

Michele Tufano, Cody Watson+4 more|arXiv (Cornell University)|Dec 20, 2018

Software Engineering Research被引用数 4

ひとこと要約

本論文は、GitHubにおける数百万件のオープンソースコード変更から、現実世界のバグ修正パッチを自動で学習・生成するためのニューラル機械翻訳（NMT）手法を提案する。抽象化されたバグあり・修正済みコードペアを用いてシーケンス・ツー・シーケンスモデルを学習することで、候補生成数に応じて9–50%の修正予測精度を達成し、82%以上のケースで構文的に正しいパッチを生成し、ミリ秒単位でパッチを生成する。これは、スケーラブルでデータ駆動型のプログラム修復の強力な実現可能性を示している。

ABSTRACT

Millions of open-source projects with numerous bug fixes are available in code repositories. This proliferation of software development histories can be leveraged to learn how to fix common programming bugs. To explore such a potential, we perform an empirical study to assess the feasibility of using Neural Machine Translation techniques for learning bug-fixing patches for real defects. First, we mine millions of bug-fixes from the change histories of projects hosted on GitHub, in order to extract meaningful examples of such bug-fixes. Next, we abstract the buggy and corresponding fixed code, and use them to train an Encoder-Decoder model able to translate buggy code into its fixed version. In our empirical investigation we found that such a model is able to fix thousands of unique buggy methods in the wild. Overall, this model is capable of predicting fixed patches generated by developers in 9-50% of the cases, depending on the number of candidate patches we allow it to generate. Also, the model is able to emulate a variety of different Abstract Syntax Tree operations and generate candidate patches in a split second.

研究の動機と目的

• ニューラル機械翻訳（NMT）が、実世界のコードリポジトリから開発者が書いたリアルなバグ修正パッチを学習して生成できるかどうかを調査すること。
• GitHubのオープンソースプロジェクトの変更履歴から、意味的に重要なバグあり・修正済みコードペア（BFPs）を抽出・抽象化すること。
• NMTベースのモデルが、実際の欠陥に対して構文的に正しいかつ意味的に関連性のあるパッチを生成する際の実現可能性、品質、効率を評価すること。
• モデルが実際の開発者による修正でよく使われる一般的な抽象構文木（AST）操作をどの程度再現できるかを評価すること。
• 大規模で現実世界のコード履歴を活用して、データ駆動型のプログラム修復システムを訓練する可能性を検討すること。

提案手法

• 著者らは、GitHubリポジトリから数百万件のバグ修正コミットを収集し、現実世界のバグあり・修正済みコードペアを取得する。
• 識別子や定数をプレースホルダーに置き換えることで、ソースコードを抽象化し、ノイズを除去しながら構文的・構造的パターンを保持する。
• エンコーダ・デコーダ型のニューラルネットワークアーキテクチャを用い、アテンション機構を備えたシーケンス・ツー・シーケンス学習により、バグありコード（入力）を修正済みコード（出力）に翻訳する。
• スケーラビリティとパフォーマンスのトレードオフを評価するため、学習データの10%から90%を用いてモデルを訓練するが、完全な学習曲線は今後の課題として残す。
• モデル推論により複数の候補パッチを生成し、人間が書いた修正と類似度が高いパッチを最良のものとして選択する。
• 本アプローチは、小規模BFPs（≤100トークン）と中規模BFPs（101–200トークン）の2つのデータセットを用いて評価され、パッチの正しさとAST操作カバレッジの定性的・定量的分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 実際の開発者の変更履歴を含むオープンソースリポジトリから、ニューラル機械翻訳（NMT）が実世界のバグ修正パッチを効果的に学習して生成できるか。
• RQ2 NMTモデルのヒューマンライティングされたパッチの予測精度はどの程度で、生成する候補パッチの数に応じて性能はどのように変化するか。
• RQ3 モデルが実際のバグ修正で使われる一般的な抽象構文木（AST）操作をどの程度再現できるか。
• RQ4 モデルの候補パッチ生成の効率はどの程度で、開発ワークフローでのリアルタイム利用にスケーラブルか。
• RQ5 学習データサイズがモデルパフォーマンスに与える影響は何か。また、あるデータ量の閾値を超えるとリターンが減少する傾向はあるか。

主な発見

• NMTモデルは、100トークン以下の小規模BFPsを2,927件の固有のケースで修正し、生成する候補パッチ数に応じて9–50%の予測精度を達成した。
• 中規模BFPs（101–200トークン）では、同じ候補生成条件の下で1,869件の固有のバグを修正し、3–28%の精度を達成した。
• 生成されたパッチの82%以上が構文的に正しいことを確認し、構造的正しさが強く裏付けられた。
• モデル$M_{small}$は、実際の修正で行われたAST操作の28–64%を再現したが、$M_{medium}$は16–52%のカバレッジを達成した。
• モデルは1秒未満で数十の候補パッチを生成でき、リアルタイム統合に適した高い推論効率を示した。
• 本研究は、NMTベースのモデルが実世界のコード変更履歴から学習し、スケーラブルでデータ駆動型のプログラム修復を実現する強固な実証的基盤を確立した。