[論文レビュー] Defect Identification, Categorization, and Repair: Better Together

Chao Ni, Kaiwen Yang+4 more|arXiv (Cornell University)|Apr 11, 2022

Software Engineering Research被引用数 5

ひとこと要約

本稿では、関数レベルの欠陥を特定し、その種別を分類し、マルチクラス分類とシーケンス生成アプローチを用いて自動修復する統合フレームワーク、CompDefectを提案する。本研究は、新規の大規模関数レベルデータセット上で最先端の性能を達成し、従来手法に比べてF1スコアを最大41.7%向上させ、修復精度を29.5%向上させた。

ABSTRACT

Just-In-Time defect prediction (JIT-DP) models can identify defect-inducing commits at check-in time. Even though previous studies have achieved a great progress, these studies still have the following limitations: 1) useful information (e.g., semantic information and structure information) are not fully used; 2) existing work can only predict a commit as buggy one or clean one without more information about what type of defect it is; 3) a commit may involve changes in many files, which cause difficulty in locating the defect; 4) prior studies treat defect identification and defect repair as separate tasks, none aims to handle both tasks simultaneously. In this paper, to handle aforementioned limitations, we propose a comprehensive defect prediction and repair framework named CompDefect, which can identify whether a changed function (a more fine-grained level) is defect-prone, categorize the type of defect, and repair such a defect automatically if it falls into several scenarios, e.g., defects with single statement fixes, or those that match a small set of defect templates. Generally, the first two tasks in CompDefect are treated as a multiclass classification task, while the last one is treated as a sequence generation task. The whole input of CompDefect consists of three parts (exampled with positive functions): the clean version of a function (i.e., the version before defect introduced), the buggy version of a function and the fixed version of a function. In multiclass classification task, CompDefect categorizes the type of defect via multiclass classification with the information in both the clean version and the buggy version. In code sequence generation task, CompDefect repairs the defect once identified or keeps it unchanged.

研究の動機と目的

• 既存のジャストインタイム欠陥予測（JIT-DP）手法が、コードの完全な意味的・構造的情報を活用できないという限界を解消すること。
• コミットレベルでの欠陥予測が粗い粒度であるのを改善し、細粒度の関数レベルでの欠陥特定と種別分類を可能にすること。
• 複数のファイル変更を含むコミット全体ではなく、個々の関数に焦点を当てることで、欠陥の局所化を向上させること。
• 欠陥予測と自動修復を統合した1つのフレームワークに統合し、チェックイン時におけるエンドツーエンドの欠陥処理を可能にすること。
• 包括的な評価を可能にするために、クリーン版、バグあり版、修復済み版のコードバージョンを備えた大規模な関数レベルデータセットを構築すること。

提案手法

• CompDefectは、1関数あたり3つの入力を処理する：クリーン版、バグあり版、修復済み版。これにより、欠陥予測と修復の共同学習が可能になる。
• 欠陥特定と分類は、コードの意味的・構造的情報をエンコードするGraphCodeBERTを用いたマルチクラス分類タスクとしてモデル化する。
• 欠陥修復は、バグあり版から修復済みコードを生成するシーケンス・トゥ・シーケンス生成タスクとしてモデル化する。
• コードの深い意味的・構造的情報を捉えるために、事前学習モデル（例：GraphCodeBERT）を活用し、表現学習を向上させる。
• 21,047件のインスタンスを備え、各インスタンスが3つのコードバージョン（クリーン版、バグあり版、修復済み版）を含む、新規の関数レベルデータセット「Function-SStuBs4J」を構築した。
• 分類とシーケンス生成の両方のタスクにクロスエントロピー損失を適用し、エンドツーエンドで欠陥検出と修復を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 単独の予測や修復システムを超えて、統合フレームワークが関数レベルの欠陥特定、分類、自動修復を同時に改善できるか？
• RQ2 マルチバージョンのコード入力を組み合わせた場合、GraphCodeBERTのような事前学習コードモデルが欠陥検出と修復をどの程度向上できるか？
• RQ3 F1スコア、AUC、BLEU、および識別・分類・修復タスクにおける精度の観点から、CompDefectは最先端のベースラインと比較してどの程度の性能を示すか？
• RQ4 本フレームワークは、特に1行の修正に適した場合に、関数レベルでの欠陥局所化と高精度な修復を効果的に実行できるか？
• RQ5 クリーン版および修復済みコードバージョンの導入により、バグありコードのみを用いるモデルと比較して、欠陥検出・修復の能力がどの程度向上するか？

主な発見

• 欠陥特定タスクにおいて、DeepJIT や CC2Vec に比べ、F1スコアが39.0%向上し、AUCが34.7%向上した。
• 欠陥分類において、BERT、RoBERTa、CodeBERT などの事前学習モデルを平均してF1スコアで少なくとも63.0%向上させた。
• 欠陥修復において、SequenceR に比べてBLEUスコアが23.9%向上し、精度が29.5%向上した。
• 提案された Function-SStuBs4J データセットは、3つのコードバージョンと複数の欠陥タイプを備えた、公開済みの最大の関数レベルデータセットである。
• CompDefectは、多様なベンチマークと設定において優れた一般化性能を示し、評価されたすべてのタスクで最先端モデルを上回った。
• クリーン版および修復済みコードバージョンの統合により、バグありコードのみを用いるモデルと比較して、欠陥検出・修復の能力が顕著に向上した。