[論文レビュー] Learning to Generate Corrective Patches using Neural Machine Translation

Hideaki Hata, Emad Shihab+1 more|arXiv (Cornell University)|Dec 18, 2018

Software Engineering Research参考文献 137被引用数 37

ひとこと要約

本稿では、過去のバグ修正ペアをモデル化することで是正コードパッチの生成を学習する、ニューラル機械翻訳（NMT）ベースのシステムRatchetを提案する。バグありコードスニペット（入力）とその修正済みスニペット（出力）を用いて序列列モデルを学習することで、Ratchetは構文的に有効な修正を生成し、F1スコアは0.29～0.83を達成し、5つのオープンソースプロジェクトにおける実験的評価で98.7%の構文的妥当性を達成した。

ABSTRACT

Bug fixing is generally a manually-intensive task. However, recent work has proposed the idea of automated program repair, which aims to repair (at least a subset of) bugs in different ways such as code mutation, etc. Following in the same line of work as automated bug repair, in this paper we aim to leverage past fixes to propose fixes of current/future bugs. Specifically, we propose Ratchet, a corrective patch generation system using neural machine translation. By learning corresponding pre-correction and post-correction code in past fixes with a neural sequence-to-sequence model, Ratchet is able to generate a fix code for a given bug-prone code query. We perform an empirical study with five open source projects, namely Ambari, Camel, Hadoop, Jetty and Wicket, to evaluate the effectiveness of Ratchet. Our findings show that Ratchet can generate syntactically valid statements 98.7% of the time, and achieve an F1-measure between 0.29 - 0.83 with respect to the actual fixes adopted in the code base. In addition, we perform a qualitative validation using 20 participants to see whether the generated statements can be helpful in correcting bugs. Our survey showed that Ratchet's output was considered to be helpful in fixing the bugs on many occasions, even if fix was not 100% correct.

研究の動機と目的

• 手作業で行うソフトウェアバグ修正の非効率性を解消するため、学習ベースの手法を用いてパッチ生成を自動化すること。
• テスト駆動の探索に依存するのではなく、過去の修正を活用することで、探索ベースの自動修復の限界（過学習や扱いきれない探索空間）を克服すること。
• ニューラル機械翻訳が、過去のコード変更を効果的にモデル化し、一般化して新しい構文的に有効な是正パッチを生成できるかどうかを検討すること。
• 実世界のソフトウェアプロジェクトにおけるNMTベースのパッチ生成の有効性を評価し、パターンベースのベースラインと比較すること。
• 完全に正しいわけではない場合でも、生成されたパッチの実用的価値を、人的な定性的評価を通じて評価すること。

提案手法

• Ratchetは、バグありコード（入力）とその対応する修正（出力）のペアを学習データとして用いたニューラル序列列（seq2seq）モデルを採用し、パッチ生成を機械翻訳タスクとして扱う。
• モデルはバグを含むコードスニペットを入力とし、出力として修正済みバージョンを生成する。入力と出力間の関連するコードセグメントを一致させるためにアテンション機構を用いる。
• 学習データは、5つのオープンソースプロジェクト（Ambari, Camel, Hadoop, Jetty, Wicket）のバージョン管理履歴から構築され、バグ修正前のコードハンクと修正後のコードハンクを抽出する。
• モデルはステートメントレベルのコード変更でファインチューニングされ、多様なプログラミング文脈において一般化可能な修復パターンを学習できるようにする。
• コード構造を適切に処理するため、モデルはコードをトークン化されたシーケンスとして処理し、正しいパッチ生成に不可欠な構文的・意味的関係を保持する。
• Ratchetは、定量的指標（F1スコア、構文的妥当性）と定性的な人的評価の両方を用いて評価され、実用的価値を測定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳モデルは、過去のバグ修正ペアから構文的に有効で意味的に正しいコードパッチを効果的に学習し生成できるか？
• RQ2 NMTベースのRatchetシステムの性能は、パターンベースのベースライン（例：Plastic Surgery）と比較して、修正の正確性と妥当性においてどのように異なるか？
• RQ3 Ratchetが生成したパッチは、実際の修正と同一でなくても、開発者がバグを修正するのをどの程度支援できるか？
• RQ4 特に未知語（out-of-vocabulary）トークンやカバレッジの不足に起因する、NMTベースのアプローチの主な失敗モードは何か？
• RQ5 モデルは異なるソフトウェアプロジェクト間で一般化可能か？また、リファクタリングや強化パッチなど、バグ修正以外のコード変更に対しても対応できるか？

主な発見

• Ratchetは、テストケースの98.7%で構文的に有効なコードパッチを生成し、出力品質の高さを示した。
• 5つの評価プロジェクト全体で、F1スコアは0.29～0.83の間で変動し、コードベース内の実際の修正と比較して優れた性能を示した。
• 5つのプロジェクトすべてで、Ratchetはパターンベースのベースライン（Plastic Surgery）と同等またはそれ以上の修正正確性を達成した。
• 20名の参加者による人的評価では、Ratchetが生成したパッチが、完全に正しいものでなくてもバグ修正に役立つと評価された。これは実用的価値の高さを示している。
• Ratchetの主な制限要因は、未知語問題と、推論時におけるレアまたは未確認のトークンのカバレッジ不足であった。
• モデルはバグ修正にとどまらず、リファクタリングや強化パッチなど、バグ関連でないコード変更に対しても、一般化能力を示した。