[論文レビュー] Self-Supervised Bug Detection and Repair

Miltiadis Allamanis, Henry Jackson-Flux+1 more|arXiv (Cornell University)|May 26, 2021

Software Engineering Research参考文献 33被引用数 38

ひとこと要約

BugLabはバグセレクタとバグ検出器を共同訓練して、検出が難しいバグを生成し、それらを特定・修復する。現実の PyPI バグに対するランダムバグベースラインよりも良い性能を達成し、オープンソースの Python コードで19個の未知のバグを発見した。

ABSTRACT

Machine learning-based program analyses have recently shown the promise of integrating formal and probabilistic reasoning towards aiding software development. However, in the absence of large annotated corpora, training these analyses is challenging. Towards addressing this, we present BugLab, an approach for self-supervised learning of bug detection and repair. BugLab co-trains two models: (1) a detector model that learns to detect and repair bugs in code, (2) a selector model that learns to create buggy code for the detector to use as training data. A Python implementation of BugLab improves by up to 30% upon baseline methods on a test dataset of 2374 real-life bugs and finds 19 previously unknown bugs in open-source software.

研究の動機と目的

• 大規模な注釈付きバグデータセットの不足に対処するため、バグ検出と修復の自己教師付きフレームワークを提案する。
• 難易度の高いバグを生成するセレクタとそれを修復するデテクタを共訓練する。
• 実際のバグテストセットとオープンソースプロジェクトで有効性を実証する。
• 再現性のための Python 実装（PyBugLab）を提供し、データセットを公開する。

提案手法

• コードをエンティティとリレーションの異種グラフとして表現する。
• 2つのニューラルモデルを用いる：バグを導入するリライトを選択するセレクター S_phi と、それを局所化・修復するデテクター D_theta。
• セレクターがデテクターにとって最も難しいリライトを近似する（最大損失）、デテクターが修復を学習する（損失を最小化）というミンマックス訓練目標を設定する。
• リライト場所 ell に確率的リライトを適用し、ρ によるリライト規則を含むバグを誘発するリライトと修復用の逆規則 ρ^{-1} を含める。
• リライトスコアリングのためにエンティティ埋め込みを生成する2つのコード表現アーキテクチャ（GNN と GREAT トランスフォーマー）を採用する。
• 4つのバグタイプ（変数の誤用、引数の入れ替え、誤演算子、誤リテラル）を扱い、データ拡張リライトも提供する Python 実装（PyBugLab）。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きのバグセレクタとバグデテクタの共訓練は、教師あり学習やランダムバグベースラインと比べて検出・修復性能を向上させるか？
• RQ2 学習済みリライトは現実的なバグ分布を維持しつつ、検出が難しいバグをどの程度生成できるか？
• RQ3 異なるコード表現（GNN vs GREAT）は、合成データと実データセットでの局所化・修復性能にどのような影響を与えるか？
• RQ4 実世界のバグデータセットにおけるバグ局在の難易度と修復の難易度の相対は？
• RQ5 PyBugLab は CuBERT などの既存アプローチと比べて実世界の PyPI バグでどの程度の性能を示すか？

主な発見

Training strategy	Model	Joint	Loc	Repair
Supervised	GNN	62.4	73.6	81.2
Supervised	GREAT	51.0	61.9	76.3
Random Selector	GNN	69.4	79.6	84.0
Random Selector	GREAT	63.9	73.6	82.0
PyBugLab	GNN	69.6	80.4	84.2
PyBugLab	GREAT	64.0	74.3	82.3
PyBugLab +Aug	GNN	70.3	81.1	84.5
PyBugLab +Aug	GREAT	65.3	75.3	82.5

• BugLab が訓練されたデテクタは、ランダムに挿入されたバグで訓練されたベースラインよりも優れている（合成データセット RandomBugs）。
• RandomBugs において、PyBugLab (GNN) は Joint=69.6%, Loc=80.4%, Repair=84.2%; PyBugLab + Aug は Joint=70.3%, Loc=81.1%, Repair=84.5%。
• 実データセット Bug の PyPIBugs において、PyBugLab (GNN) は Joint=24.2%, Loc=31.3%, Repair=70.7%; PyBugLab + Aug は Joint=26.4%, Loc=33.5%, Repair=72.0%。
• Five GNN モデルのアンサンブルは RandomBugs で局所化を 83.0%、修復を 85.4% に改善し、PyPIBugs でも Loc/Repair を穏やかに向上させる。
• PyBugLab は一般にバグ局在のリコールで CuBERT より上回り、バグタイプ全体で検出能力が高い。
• さらに分析では NoBug の検出が特に難しく、PyPIBugs テストセットでの正確さは ~63% を超えない。
• セレクタは時間とともに診断が難しいバグを生成することを学習し、デテクタの堅牢性を高める効果を示す。