[論文レビュー] DEAR: A Novel Deep Learning-based Approach for Automated Program Repair

Yi Li, Shaohua Wang+1 more|arXiv (Cornell University)|May 4, 2022

Software Testing and Debugging Techniques被引用数 11

ひとこと要約

DEARは、スペクトラムベースの故暲定位法とBERTのファインチューニング、およびデータフロー解析を組み合わせることで、複数のハンクおよび複数文のバグを効果的に特定する、深層学習に基づく自動プログラム修復の新規アプローチを提案する。2段階のツリー型LSTMにサイクルトレーニングとアテンションを適用し、文脈に配慮した正確な修正を生成する。Defects4Jでは、最先端のDLベースのAPRモデルに比べて42%から683%多くバグを修正し、BigFixおよびCPatMinerでは、複数ハンク／複数文のバグに対して顕著に優れた性能を示した。

ABSTRACT

The existing deep learning (DL)-based automated program repair (APR) models are limited in fixing general software defects. % We present { ool}, a DL-based approach that supports fixing for the general bugs that require dependent changes at once to one or multiple consecutive statements in one or multiple hunks of code. % We first design a novel fault localization (FL) technique for multi-hunk, multi-statement fixes that combines traditional spectrum-based (SB) FL with deep learning and data-flow analysis. It takes the buggy statements returned by the SBFL model, detects the buggy hunks to be fixed at once, and expands a buggy statement $s$ in a hunk to include other suspicious statements around $s$. We design a two-tier, tree-based LSTM model that incorporates cycle training and uses a divide-and-conquer strategy to learn proper code transformations for fixing multiple statements in the suitable fixing context consisting of surrounding subtrees. We conducted several experiments to evaluate { ool} on three datasets: Defects4J (395 bugs), BigFix (+26k bugs), and CPatMiner (+44k bugs). On Defects4J dataset, { ool} outperforms the baselines from 42\%--683\% in terms of the number of auto-fixed bugs with only the top-1 patches. On BigFix dataset, it fixes 31--145 more bugs than existing DL-based APR models with the top-1 patches. On CPatMiner dataset, among 667 fixed bugs, there are 169 (25.3\%) multi-hunk/multi-statement bugs. { ool} fixes 71 and 164 more bugs, including 52 and 61 more multi-hunk/multi-statement bugs, than the state-of-the-art, DL-based APR models.

研究の動機と目的

• 単一文の修正しか行えない既存の深層学習ベースの自動プログラム修復（APR）ツールの限界を解決し、複数文や複数ハンクにまたがる依存的変更を修復することを目的とする。
• スペクトラムベースの故障定位（SBFL）を深層学習とデータフロー解析と組み合わせることで、複数ハンク・複数文のバグにおける故障定位の正確性を向上させることを目的とする。
• 複数のAST部分木にまたがる複雑なコード変換を学習・生成するための組み合わせ的で分割統治的な戦略を開発することを目的とする。
• 2層のツリー型LSTMにアテンションとサイクルトレーニングを組み合わせることで、複数文の修正における構造的コード変更の学習を強化し、性能を向上させることを目的とする。
• 現在のDLベースのAPRモデルが効果的に処理できない、複数のコードハンクにまたがる連携が必要な一般ソフトウェア欠陥をエンドツーエンドで修復できることを実現することを目的とする。

提案手法

• スペクトラムベースの故障定位（SBFL）とファインチューニング済みBERTを統合し、不審な文を特定し、共同修復が必要なコードハンクを同定する。
• RNNを用いて文をバグありと分類する拡張アルゴリズムを設計し、データフロー解析を適用してバグ領域を依存関係にある連続する文にまで拡張する。
• ASTベースの差分比較を用いて、バグありコードと修正済みコード間の細粒度なサブツリー単位のマッピングを抽出し、正確なアラインメントと変換学習を可能にする。
• 階層的にASTサブツリーを処理する2段階のツリー型LSTMモデルを実装し、分割統治戦略を用いて個々のサブツリー変換を学習する。
• アテンション機構とサイクルトレーニングを用いてLSTMをオ케ストレーションし、複雑な複数文コード変更の学習における汎化性と耐性を向上させる。
• 修復の妥当性を保証し、他の言語への拡張性をサポートするため、意味的チェックと言語に依存しない表現を用いた後処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 SBFL、深層学習、データフロー解析を統合したハイブリッド故障定位手法は、連携修復が必要な複数ハンク・複数文のバグを効果的に特定できるか？
• RQ2 アテンションとサイクルトレーニングを備えた2段階のツリー型LSTMモデルは、異なるハンクにまたがる複数の依存文に対して正確で文脈に配慮したコード変換を学習・生成できるか？
• RQ3 DEARは、特に複数ハンク／複数文のバグに対して、既存の深層学習ベースのAPRモデルに比べてどの程度優れた性能を示すか？
• RQ4 BigFixおよびCPatMinerといった大規模な産業界データセットからの複雑な実世界のバグに対して、DEARは最先端のベースラインと比較してどの程度効果的か？
• RQ5 組み合わせ的でサブツリー単位の変換学習は、自動プログラム修復モデルの正確性と汎化性能にどのような影響を与えるか？

主な発見

• Defects4Jデータセットにおいて、DEARは上位1つの生成パッチを考慮した場合、既存のDLベースのAPRベースラインに比べて42%から683%多くバグを修正した。
• BigFixデータセットにおいて、DEARは上位1つのパッチを使用した場合、次に優れたDLベースのAPRモデルに比べて31～145個多くバグを修正した。
• CPatMinerデータセットにおいて、DEARは合計で169個のバグを多く修正し、複数ハンク／複数文のバグでは52個多く修正した。
• CPatMinerの全667個の修正済みバグのうち、DEARは169個（25.3%）の複数ハンク・複数文のバグを正常に修復し、ベースラインより61個多いこのような複雑なバグを修正した。
• 故障定位におけるデータフロー解析とBERTのファインチューニングの統合により、共同修復が必要なバグのあるハンクの特定が顕著に向上し、誤検出が減少した。
• サイクルトレーニングとアテンション強化された2段階のLSTMアーキテクチャにより、特に複数文修復シナリオにおいて、複雑な階層的コード変換を学習する能力が向上した。