[論文レビュー] Fix Bugs with Transformer through a Neural-Symbolic Edit Grammar

Yaojie Hu, Xingjian Shi+2 more|arXiv (Cornell University)|Apr 13, 2022

Software Engineering Research被引用数 6

ひとこと要約

NSEditは、正則言語として定式化されたニューラル記号的編集文法を用いた、トランスフォーマーに基づく新しいコード修復手法を提案する。この手法は、位置選択のためのポインタネットと、検証データで微調整されたアンサンブル再ランク機構を組み合わせることで、CodeXGLUEベンチマークのTufano smallデータセットにおいて24.04%の新しいSOTA精度を達成した。これは構文エラーに対して頑健であり、プログラム解析入力なしで効果的な編集シーケンス生成を可能にする。

ABSTRACT

We introduce NSEdit (neural-symbolic edit), a novel Transformer-based code repair method. Given only the source code that contains bugs, NSEdit predicts an editing sequence that can fix the bugs. The edit grammar is formulated as a regular language, and the Transformer uses it as a neural-symbolic scripting interface to generate editing programs. We modify the Transformer and add a pointer network to select the edit locations. An ensemble of rerankers are trained to re-rank the editing sequences generated by beam search. We fine-tune the rerankers on the validation set to reduce over-fitting. NSEdit is evaluated on various code repair datasets and achieved a new state-of-the-art accuracy ($24.04\%$) on the Tufano small dataset of the CodeXGLUE benchmark. NSEdit performs robustly when programs vary from packages to packages and when buggy programs are concrete. We conduct detailed analysis on our methods and demonstrate the effectiveness of each component.

研究の動機と目的

• プログラム解析や補助的表現に依存せずに、構文エラーが存在する状況下でのコード修復の課題に取り組むこと。
• コードの編集を直接的なコード対コード翻訳ではなく、構造的かつ微分可能な言語としてモデル化することにより、コード修復における一般化性と頑健性を向上させること。
• ビームサーチによる出力品質を向上させるために、精度と再現率のトレードオフを制御可能な学習可能な再ランク機構を導入すること。
• トランスフォーマーがドメイン固有言語（DSL）としての削除・挿入操作の組み合わせを通じて、複雑な編集操作を学習できることを示し、正確で記号的なプログラム変換を可能にすること。

提案手法

• NSEditは、バグのあるソースコードをエンコーダーが処理し、デコーダーがニューラル記号的編集文法（DSL）をドメイン固有言語として用いて編集シーケンスを生成するトランスフォーマーのエンコーダー・デコーダー構造を採用する。
• 編集文法は、2つの基本的アクション「削除」と「挿入」からなる正則言語として定式化され、モデルの語彙に特別トークンとして埋め込まれる。
• デコーダーにポインタネットを統合し、エンコーダーの隠れ状態から動的に編集位置を取得することで、静的埋め込みではなくコンテンツに基づく位置注釈を可能にする。
• モデルはビームサーチによるデコードを実行後、主モデルの対数尤度とは異なる学習済みの信頼度信号に基づいて仮説を再ランクするアンサンブル再ランク機構を適用する。
• 再ランク機構は検証セットで微調整され、過学習の低減と一般化性能の向上が図られ、信頼度スコアは本番環境での精度・再現率トレードオフの制御に用いられる。
• モデルは、ASTやDFG、エラーメッセージを一切必要とせず、事前学習による構文・意味論の学習能力にのみ依存して、バグあり・修正ありコードペアのみでエンドツーエンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 プログラム解析表現に依存せずに、バグのあるコードに対して正確な編集シーケンスを生成できるように、トランスフォーマーが学習できるか。
• RQ2 直接的なコード生成と比較して、ニューラル記号的編集文法をDSLとして用いることで、コード修復の頑健性と精度が向上するか。
• RQ3 アンサンブル再ランク機構と検証セットでの微調整は、コード修復におけるビームサーチ出力品質にどの程度向上効果をもたらすか。
• RQ4 実世界の本番環境において、再ランクスコアの精度・再現率トレードオフは、ビームサーチの内在的尤度スコアと比較してどの程度優れているか。

主な発見

• NSEditは、CodeXGLUEベンチマークのTufano smallデータセットにおいて、24.04%の新しいSOTA精度を達成し、直接コード生成や複雑なグラフベース表現に依存する先行手法を上回った。
• 検証セットで微調整されたアンサンブル再ランク機構は、単一の再ランク機構と比較してトップ1精度を1.69ポイント向上させ、アンサンブル学習による過学習低減の有効性を示した。
• 検証セットでの微調整により、すべてのトップ-k設定で精度が向上し、特にアンサンブルと微調整を併用した場合に最高の性能が得られた。
• 再ランクスコアは、ビームサーチの内在的対数尤度スコアよりもより効率的な精度・再現率トレードオフを実現した：50%の精度を達成するには、再ランク手法では38.4%の再現率を維持できるが、ビームスコアでは再現率を22.4%まで低下させる必要があった。
• NSEditは多様なコードベースや具体的なバグのあるプログラムに対しても頑健に動作し、構文が破損している場合でも強力な一般化性能を示した。
• CodeBERTとCodeGPTをエンコーダー・デコーダーのバックボーンとして統合することで性能が向上し、コードの事前学習モデルが編集シーケンス生成に効果的に知識を転移できることを確認した。