[論文レビュー] Invalidator: Automated Patch Correctness Assessment via Semantic and Syntactic Reasoning

Thanh Le-Cong, Duc-Minh Luong+5 more|arXiv (Cornell University)|Jan 3, 2023

Software Testing and Debugging Techniques被引用数 4

ひとこと要約

Invalidatorは、プログラム不変条件を用いた意味的推論と、CodeBERT埋め込みを用いた構文的推論を組み合わせることで、APRによって生成されたパッチの過適合を自動的に評価する新規な技術である。テストケースの生成を一切不要とし、完全に自動的に動作するが、最先端のベースラインを上回り、過適合パッチの79％を検出する。これは最良のベースラインよりも23％高い性能を示す。

ABSTRACT

Automated program repair (APR) faces the challenge of test overfitting, where generated patches pass validation tests but fail to generalize. Existing methods for patch assessment involve generating new tests or manual inspection, which can be time-consuming or biased. In this paper, we propose a novel technique, INVALIDATOR, to automatically assess the correctness of APR-generated patches via semantic and syntactic reasoning. INVALIDATOR leverages program invariants to reason about program semantics while also capturing program syntax through language semantics learned from a large code corpus using a pre-trained language model. Given a buggy program and the developer-patched program, INVALIDATOR infers likely invariants on both programs. Then, INVALIDATOR determines that an APR-generated patch overfits if: (1) it violates correct specifications or (2) maintains erroneous behaviors from the original buggy program. In case our approach fails to determine an overfitting patch based on invariants, INVALIDATOR utilizes a trained model from labeled patches to assess patch correctness based on program syntax. The benefit of INVALIDATOR is threefold. First, INVALIDATOR leverages both semantic and syntactic reasoning to enhance its discriminative capability. Second, INVALIDATOR does not require new test cases to be generated, but instead only relies on the current test suite and uses invariant inference to generalize program behaviors. Third, INVALIDATOR is fully automated. Experimental results demonstrate that INVALIDATOR outperforms existing methods in terms of Accuracy and F-measure, correctly identifying 79% of overfitting patches and detecting 23% more overfitting patches than the best baseline.

研究の動機と目的

• 自動プログラム修復（APR）におけるテスト過適合という持続的な課題に対処する。これは、パッチがテストスイートに合格しても一般化できない場合を指す。
• 行動上の差を検出するために、高コストな手動の検査や生成が難しいテストケースに依存する既存の手法の限界を克服する。
• 新しいテストケースの生成を必要とせず、自動的かつスケーラブルで高精度なパッチ正当性評価手法を開発する。
• 意味的（プログラム不変条件）および構文的（事前学習済みコード埋め込み）推論を活用し、過適合パッチの検出を向上させる。
• 完全に自動化されたソリューションを提供し、実世界のソフトウェア開発におけるAPRツールの信頼性と実用的採用を高める。

提案手法

• バグありバージョンおよび開発者による修正済みバージョンの両方からプログラム不変条件を推論し、意味的仕様を捉える。
• APRによって生成されたパッチが正しい不変条件に違反する、または元のバグありプログラムからの誤った振る舞いを保持する場合、過適合であると判断する。
• 不変条件に基づく推論が失敗した場合、構文的類似度に基づいてパッチ正当性を評価するトレーニング済み機械学習モデルを用いる。
• CodeBERTを用いて、大規模なコードコーパスから得た言語の意味を捉える、濃密なベクトル表現をプログラム構文に対して生成する。
• APRによって生成されたパッチ、バグありプログラム、正解の開発者パッチの間の構文的差を測定し、過適合の可能性を推定する。
• 意味的推論と構文的分類を組み合わせた二段階フレームワークを採用することで、識別力と耐障害性を向上させる。

(a) An overfitting patch generated by Kali [ 35 ]

実験結果

リサーチクエスチョン

• RQ1 プログラム不変条件は、APRによって生成されたパッチの過適合を検出するために、意味的仕様を効果的に捉えうるか？
• RQ2 意味的推論が失敗した場合、事前学習済みコードモデルを用いた構文的類似度測定が、過適合パッチの検出を向上させうるか？
• RQ3 意味的および構文的推論を組み合わせることで、既存の自動パッチ正当性評価手法をどのように上回るか？
• RQ4 Invalidatorは、追加のテストケースの生成なしに、どの程度まで過適合パッチを検出できるか？
• RQ5 実世界のAPRデータセットにおいて、Invalidatorは最先端のベースラインと比較してどの程度の性能を示すか？

主な発見

• Defects4Jから得た885件のAPRによって生成されたパッチのデータセットにおいて、Invalidatorは過適合パッチの79％を検出できた。これは最良のベースラインよりも23％高い性能を示す。
• Invalidatorは、最良のベースラインと比較して14％高い正確性と19％高いF-measureを達成し、全体的な性能が優れていることを示している。
• プログラム不変条件の統合により、Invalidatorはテストスイートのカバレッジを超えて一般化でき、テストに合格しても意味的に誤りのあるパッチを特定できる。
• CodeBERT特徴に基づく構文的分類器は、正解バージョンおよびバグありバージョンとの類似度を比較することで、柔軟で適応可能な閾値を提供する。
• Invalidatorは、追加のテストケースの生成を一切必要とせず、完全に自動的に動作するため、複雑なテスト生成ツールへの依存を低減する。
• 意味的および構文的推論を組み合わせることで、単一のモodalに依存する手法と比較して、過適合パッチの検出が著しく向上することを示している。

(b) The correct patch written by human developers