[論文レビュー] Evaluating Representation Learning of Code Changes for Predicting Patch Correctness in Program Repair

Haoye Tian, Kui Liu+5 more|arXiv (Cornell University)|Aug 7, 2020

Software Engineering Research参考文献 65被引用数 6

ひとこと要約

本論文は、自動プログラム修復（APR）におけるパッチ正しさの予測に、分散表現学習手法—特にBERT、Doc2Vec、code2vec、CC2Vec—を評価する。BERTに基づくコード変更埋め込み表現を用いて線形回帰分類器を学習した結果、1,000件のラベル付きパッチから成る重複除去済みデータセット上でAUC 0.8を達成した。これは、学習された埋め込み表現が誤ったパッチを効果的に特定でき、動的解析に基づく手法（例：PATCH-SIM）を上回ることを示している。

ABSTRACT

A large body of the literature of automated program repair develops approaches where patches are generated to be validated against an oracle (e.g., a test suite). Because such an oracle can be imperfect, the generated patches, although validated by the oracle, may actually be incorrect. While the state of the art explore research directions that require dynamic information or rely on manually-crafted heuristics, we study the benefit of learning code representations to learn deep features that may encode the properties of patch correctness. Our work mainly investigates different representation learning approaches for code changes to derive embeddings that are amenable to similarity computations. We report on findings based on embeddings produced by pre-trained and re-trained neural networks. Experimental results demonstrate the potential of embeddings to empower learning algorithms in reasoning about patch correctness: a machine learning predictor with BERT transformer-based embeddings associated with logistic regression yielded an AUC value of about 0.8 in predicting patch correctness on a deduplicated dataset of 1000 labeled patches. Our study shows that learned representations can lead to reasonable performance when comparing against the state-of-the-art, PATCH-SIM, which relies on dynamic information. These representations may further be complementary to features that were carefully (manually) engineered in the literature.

研究の動機と目的

• 学習されたコード表現が、自動プログラム修復におけるパッチ正しさの予測を改善できるかどうかを調査すること。
• 事前学習済みおよび微調整済みニューラルネットワークが、バグありコードとパッチ適用済みコードの間の意味的・構文的差異を捉える埋め込み表現を生成する有効性を評価すること。
• 動的実行トレースに依存する最先端手法と比較して、表現学習に基づく手法の性能を評価すること。
• 手動で設計された静的特徴（例：ODS特徴）と学習された埋め込み表現の相乗効果を評価すること。
• 表現学習をAPRパイプラインに統合するための実証的指針を提供すること。

提案手法

• コード変更断片（バグありコードとパッチ適用済みコード）に対して、複数の表現学習モデル（BERT、Doc2Vec、code2vec、CC2Vec）を適用し、密なベクトル表現を生成した。
• バグありコードとパッチ適用済みコードの埋め込み表現間のコサイン類似度を用いて、類似度スコアを計算し、誤ったパッチをフィルタリングした。
• 学習済み埋め込み表現を入力として、教師あり機械学習分類器（ロジスティック回帰、決定木、ナイーブベイズ）を訓練し、パッチ正しさを予測した。
• APRデータセット上でBERTおよび他のモデルを微調整することで、ドメイン特化された表現品質を向上させた。
• 1,000件のラベル付きパッチから成るデータセットに対して重複除去処理を適用し、評価の堅牢性を確保した。
• 学習済み埋め込み表現と手動で設計された静的特徴（例：ODS特徴）を組み合わせ、予測性能への相乗効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みおよび微調整済みニューラルネットワークモデルが、正しいパッチと誤ったパッチを効果的に区別できるコード変更埋め込み表現を生成できるか？
• RQ2 BERT、Doc2Vec、code2vec、CC2Vecなどの異なる表現学習モデルは、パッチ正しさの信号をどの程度効果的に捉えられるか？
• RQ3 コサイン類似度に基づく類似度閾値を用いることで、学習済み埋め込み表現が誤ったパッチをどの程度効果的にフィルタリングできるか？
• RQ4 動的実行トレースに依存する最先端手法（例：PATCH-SIM）と比較して、学習済み埋め込み表現を用いた機械学習予測器の性能はどの程度か？
• RQ5 学習済み埋め込み表現は、手動で設計された静的特徴（例：ODS特徴）と効果的に組み合わせられるか？

主な発見

• BERTに基づく埋め込みモデルをロジスティック回帰と組み合わせた場合、重複除去済みの1,000件のラベル付きパッチデータセット上でAUC 0.8を達成し、パッチ正しさの予測に強いパワーを示した。
• 学習済み埋め込み表現から得たコサイン類似度スコアは、使用する類似度閾値に応じて、誤ったパッチの31.5%～94.9%をフィルタリングした。
• BERT埋め込み表現を用いたロジスティック回帰モデル（F-measure: 0.72、AUC: 0.8）は、同じ評価環境下で最先端の動的解析ベース手法PATCH-SIMを上回る性能を示した。
• 学習済み埋め込み表現は、ODSなどの手動で設計された静的特徉と組み合わせることで相乗効果を示し、ハイブリッドな予測アプローチの可能性を示唆した。
• APR固有のデータ上で事前学習済みモデル（例：BERT）を微調整することで、固定された事前学習済み状態で使用する場合と比較して、学習済み埋め込み表現の識別性能が向上した。
• 評価されたモデルの中で、BERTとCC2Vecが正しさ予測に最も効果的な埋め込み表現を生成したが、Doc2Vecとcode2vecはこの特定のタスクでは低い性能を示した。