[論文レビュー] DeepDebug: Fixing Python Bugs Using Stack Traces, Backtranslation, and Code Skeletons

Dawn Drain, Colin B. Clement+2 more|arXiv (Cornell University)|May 19, 2021

Software Engineering Research参考文献 25被引用数 14

ひとこと要約

DeepDebugは、スタックトレース、バックトランスレーション、コードスケルトンを活用したシーケンス・ツー・シーケンス変換モデルを提案する。実行可能なテストベンチマークでは75%の初回修正成功率を達成し、QuixBugsでは誤検出率を35%から5%に低減し、先行研究を50%以上上回る修正効率を実現。推論時間も6時間から1分に劇的に短縮された。

ABSTRACT

The joint task of bug localization and program repair is an integral part of the software development process. In this work we present DeepDebug, an approach to automated debugging using large, pretrained transformers. We begin by training a bug-creation model on reversed commit data for the purpose of generating synthetic bugs. We apply these synthetic bugs toward two ends. First, we directly train a backtranslation model on all functions from 200K repositories. Next, we focus on 10K repositories for which we can execute tests, and create buggy versions of all functions in those repositories that are covered by passing tests. This provides us with rich debugging information such as stack traces and print statements, which we use to finetune our model which was pretrained on raw source code. Finally, we strengthen all our models by expanding the context window beyond the buggy function itself, and adding a skeleton consisting of that function's parent class, imports, signatures, docstrings, and method bodies, in order of priority. On the QuixBugs benchmark, we increase the total number of fixes found by over 50%, while also decreasing the false positive rate from 35% to 5% and decreasing the timeout from six hours to one minute. On our own benchmark of executable tests, our model fixes 68% of all bugs on its first attempt without using traces, and after adding traces it fixes 75% on first attempt. We will open-source our framework and validation set for evaluating on executable tests.

研究の動機と目的

• 自動プログラム修復における高い誤検出率（テストを通過するが本質的な修正ではないパッチ）を是正すること。
• スタックトレースやプリント文を含む実行可能テストフィードバックを活用して、バグの特定と修復を改善すること。
• インポート、署名、ドキュメンテーション文字列、親クラスのコンテキストを含むコードスケルトンを統合することで、モデルの汎化性と正確性を向上させること。
• 推論時間を数時間から1分未塔に短縮しつつ、ベンチマークデータセットにおける修正率を向上させること。
• 実世界の開発ワークフローに導入可能なスケーラブルでエンドツーエンドの自動デバッグフレームワークを構築すること。

提案手法

• 逆方向のGitコミットを用いてバグ生成モデルを学習し、データ拡張のための合成バグを生成する。
• バックトランスレーションを用いて、20万件のリポジトリで事前学習済みのシーケンス・ツー・シーケンス変換モデル（DeepDev-pyに基づく）を微調整し、バグから修正へのマッピングを学習する。
• 実行可能テストを備えた1万件のリポジトリから関数に合成バグを挿入し、テストカバレッジを保持するとともにスタックトレースを収集する。
• この実行可能テストデータでモデルを微調整し、スタックトレースと拡張されたコンテキスト（コードスケルトン）を統合することで、バグの特定と修復を向上させる。
• 軸方向埋め込みを用いてコンテキスト窓を拡張し、優先順位の高い順に親クラス、インポート、関数署名、ドキュメンテーション文字列を含める。
• top-kおよびtop-pデコードを用いたサンプリング戦略を適用し、複数の候補パッチを生成し、テストスイートに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ生のPythonコードに対してバックトランスレーションを適用することで、自動プログラム修復の一般化性能が向上するか？
• RQ2 コードスケルトン（インポート、署名、ドキュメンテーション文字列、親クラス）は、バグの特定と修正の正確性をどの程度向上させるか？
• RQ3 バックトランスレーションおよびコードスケルトンと組み合わせたスタックトレースは、モデルの修復をどの程度効果的に導くか？
• RQ4 統合されたモデルは、推論時間を数時間から数分に短縮しつつ、高い修正率と低い誤検出率を達成できるか？
• RQ5 実行可能テストフィードバック（例：スタックトレース）を用いることで、合成ベンチマークと比較して、実世界の実行可能バグに対して性能が向上するか？

主な発見

• QuixBugsベンチマークでは、40個のバグのうち21個（53%）を修正し、先行研究比で50%の改善を達成。誤検出率は35%から1つ（5%）に低下した。
• 独自の523個の実行可能ニューラルバグベンチマークでは、スタックトレースを用いることで初回修正率が75%（523個中393個）に上昇。トレースなしでは68%だった。
• トップ10パッチ成功率はトレースなしでは90%、トレースありでは97%に上昇し、トレースに依存する修復の価値が示された。
• コードスケルトンの追加により、ニューラルバグ検出の交差エントロピー損失が25%低下し、モデルの信頼性と正しい修正との整合性が向上した。
• モデルは1分の推論タイムアウトを達成し、過去のツールが6時間のタイムアウトを要したのに対し、高い修正品質を維持した。
• 低パープレキシティのため、重複する編集が多数生成され、改善されたサンプリング戦略による修復候補の多様化が求められることが示唆された。