[論文レビュー] Can we learn from developer mistakes? Learning to localize and repair real bugs from real bug fixes

Cedric Richter, Heike Wehrheim|arXiv (Cornell University)|Jul 1, 2022

Software Engineering Research被引用数 8

ひとこと要約

この論文では、大規模なコードの変種と現実世界のバグ修正を組み合わせることで、Pythonにおける実際のバグの局所化と修復を改善するpre-train-and-fine-tuneフレームワークRealiTを提案する。先行研究よりも20倍多い変種で事前学習し、33,000件の実際のバグ修正で微調整することで、実バグにおける局所化性能がほぼ2倍に向上し、修復の正確性は維持または向上する。

ABSTRACT

Real bug fixes found in open source repositories seem to be the perfect source for learning to localize and repair real bugs. However, the absence of large scale bug fix collections has made it difficult to effectively exploit real bug fixes in the training of larger neural models in the past. In contrast, artificial bugs -- produced by mutating existing source code -- can be easily obtained at a sufficient scale and are therefore often preferred in the training of existing approaches. Still, localization and repair models that are trained on artificial bugs usually underperform when faced with real bugs. This raises the question whether bug localization and repair models trained on real bug fixes are more effective in localizing and repairing real bugs. We address this question by introducing RealiT, a pre-train-and-fine-tune approach for effectively learning to localize and repair real bugs from real bug fixes. RealiT is first pre-trained on a large number of artificial bugs produced by traditional mutation operators and then fine-tuned on a smaller set of real bug fixes. Fine-tuning does not require any modifications of the learning algorithm and hence can be easily adopted in various training scenarios for bug localization or repair (even when real training data is scarce). In addition, we found that training on real bug fixes with RealiT is empirically powerful by nearly doubling the localization performance of an existing model on real bugs while maintaining or even improving the repair performance.

研究の動機と目的

• 実際のバグ修正で学習させることで、神経ネットワークモデルの実ソフトウェアバグの局所化および修復性能が向上するかどうかを調査すること。
• 実際のバグ修正データセットの不足に応じて、合成された変種と実際の修正を組み合わせたpre-train-and-fine-tuneアプローチを提案すること。
• 実際のバグ修正が、人工的な変種を越えて一般化性能を向上させること、特に実世界の状況において有効であるかどうかを検証すること。
• 実際の修正のデータの質と量が、バグ局所化および修復におけるモデル性能に顕著に影響することを示すこと。

提案手法

• RealiTは2段階のトレーニングパイプラインを用いる：まず、従来の変種生成オペレータを用いて生成された大規模なコード変種のコーパスで事前学習を行う。
• その後、公開されたPythonリポジトリから抽出した33,000件の実際のバグ修正の高品質な小規模データセットで微調整を行う。
• 微調整にはアーキテクチャの変更を必要としないため、既存のバグ局所化および修復のトレーニングパイプラインへの容易な統合が可能である。
• 事前学習の変種と微調整の実際の修正の個別評価が可能であり、アブレーションスタディが可能である。
• 本手法は、Pythonにおける2,000件以上の実際の単一トークンバグを含むPyPIBugsベンチマークで評価される。
• モデルは、変数の誤用、演算子の誤用、比較の誤用、関数の誤用の4つの一般的な単一トークンバグタイプの局所化と修復を学習する。

実験結果

リサーチクエスチョン

• RQ1 実際のバグ修正で学習させることで、人工的な変種でのみ学習したモデルと比較して、神経ネットワークモデルの実世界バグにおける局所化および修復性能が顕著に向上するか？
• RQ2 pre-train-and-fine-tune戦略は、人工的変種のスケールと実際のバグ修正の現実性を効果的に組み合わせ、モデルの一般化性能を向上させることができるか？
• RQ3 実際のバグ修正の数が、実バグの局所化および修復における最終モデルの性能にどのように影響するか？
• RQ4 変種での事前学習は、高い性能を達成するために必要であるのか、それとも実際の修正での微調整のみで十分か？

主な発見

• RealiTは、変種でのみ学習したモデルと比較して、実バグの成功した局所化件数をほぼ2倍にまで向上させ、局所化性能に顕著な向上を示した。
• 実際のバグ修正で微調整することで、変種で大規模に事前学習した場合でも、修復の正確性を維持または向上させた。
• 大規模な変種で事前学習したモデル（先行研究の20倍以上）は、変種および実バグの両方で顕著に高い性能を示し、トレーニングデータのスケールの重要性を浮き彫りにした。
• 実際のバグ修正によるパフォーマンス向上は定量的に顕著である：より多くの実際の修正があるほど、より良い結果が得られ、わずかなサブセットでも変種のみでの学習よりも性能が向上した。
• RealiTは、PyPIBugsベンチマークの有意な割合のバグを実際に修復できた最初のモデルであり、実世界の単一トークンバグにおける有効性を示した。