[論文レビュー] Repair Is Nearly Generation: Multilingual Program Repair with LLMs

Harshit Joshi, José Cambronero+4 more|arXiv (Cornell University)|Aug 24, 2022

Software Engineering Research被引用数 15

ひとこと要約

この論文は、Codexを活用した多言語プログラム修復システムringを紹介する。修復をローカライゼーション、変換、候補順位付けという3段階のプロンプトベースのタスクとして扱う。6つの言語（PowerShellを含む）において、言語特化型修復エンジンと同等またはそれ以上の性能を達成し、大規模言語モデルが低コストで効果的な多言語修復を可能にすることを示している。また、AIがコードを修正するのではなく補完を提案するという逆転したインタラクションモデルを実現している。

ABSTRACT

Most programmers make mistakes when writing code. Some of these mistakes are small and require few edits to the original program -- a class of errors recently termed last mile mistakes. These errors break the flow for experienced developers and can stump novice programmers. Existing automated repair techniques targeting this class of errors are language-specific and do not easily carry over to new languages. Transferring symbolic approaches requires substantial engineering and neural approaches require data and retraining. We introduce RING, a multilingual repair engine powered by a large language model trained on code (LLMC) such as Codex. Such a multilingual engine enables a flipped model for programming assistance, one where the programmer writes code and the AI assistance suggests fixes, compared to traditional code suggestion technology. Taking inspiration from the way programmers manually fix bugs, we show that a prompt-based strategy that conceptualizes repair as localization, transformation, and candidate ranking, can successfully repair programs in multiple languages with minimal effort. We present the first results for such a multilingual repair engine by evaluating on 6 different languages and comparing performance to language-specific repair engines. We show that RING can outperform language-specific repair engines for three of these languages.

研究の動機と目的

• 複数のプログラミング言語にまたがる、小さな構文エラー（「最後のマイルのミス」と呼ばれる）を、最小限の工学的作業で修復する課題に対処すること。
• 1つの大規模言語モデル（LLM）が、言語特化型のトレーニングや記号的工学的設計を必要とせずに、多言語修復エンジンとして機能できるかどうかを検討すること。
• 人間の開発者がどのようにエラーをローカライズ・変換・順位付けするかを模倣するプロンプトベースの修復戦略の一般化性能と有効性を評価すること。
• PowerShell用の新しいベンチマークを導入し、主流の言語にとどまらず、最後のマイル修復の範囲を拡張すること。
• ユーザーがコードを記述し、AIが修正を提案するという「逆転した」AIプログラミング支援モデルを、AIがコードを補完するのではなく修正する形で実装できるかどうかを検証すること。

提案手法

• システムはプログラム修復を3段階に分解する：エラーの場所特定（エラーメッセージやベクトルを用いて）、few-shotプロンプトテンプレートによるコード変換、類似度ベースの検索による候補順位付け。
• 基盤となるLLMとしてCodexを使用し、再トレーニングを必要とせずに言語を跨いで一般化できる少数例学習能力を活用する。
• バグあり・修正済みコードペアのキュレート済み例バンクをfew-shotプロンプティングに使用し、エラーメッセージの類似度またはエラーカテゴリーベクトルに基づいて検索する。
• エラーの場所特定の段階では、場所固有の詳細を除去することでエラーメッセージを抽象化し、類似エラー間での一般化を向上させる。
• エラー報告の粒度に応じて、エラーベクトルベースとメッセージ埋め込みベースのfew-shot選択の両方をサポートする。
• 新しい言語に適応するには、言語特化型の例バンクを構築し、エラー抽象化および検索戦略をそれに合わせて設定する。

実験結果

リサーチクエスチョン

• RQ1 1つの大規模言語モデル（LLM）が、最小限の工学的作業で多言語プログラム修復を効果的に行い、言語特化型修復システムを上回ることができるか？
• RQ2 人間のデバッグ行動を模倣するプロンプトベース戦略—ローカライズ、変換、順位付け—は、PowerShell や C などの多様なプログラミング言語に一般化してどの程度機能するか？
• RQ3 few-shot例の選択における設計選択（例：エラーベクトル対メッセージ埋め込み）が、修復成功に最も大きな影響を与えるのはどれか？
• RQ4 抽象化されたエラーメッセージ（場所固有の詳細を除去）は、特に低コードまたは自然言語エラー環境において、どの程度修復の一般化を向上させるか？
• RQ5 AIがコードを補完するのではなく修正するという「逆転した」インタラクションモデル—AIが最後のマイルの修正を担当する形—は、LLMを用いて効果的に実装可能か？

主な発見

• ringは、評価された6つの言語のうち3つ（Python、JavaScript、C）で言語特化型修復エンジンを上回り、LLMを用いた多言語修復が単一言語システムを凌駆することを実証した。
• PowerShellとPower Fxの2つの追加言語でも、競争力のある性能を達成した。PowerShell用の新しいベンチマークにより、低コード環境における実現可能性が示された。
• 場所固有の詳細を除去した抽象化エラーメッセージを使用することで、Excel や PowerShell のような自然言語エラーメッセージを発する言語において、特に修復の一般化が向上した。
• C や Python のような細分化されたエラーカテゴリを持つ言語では、エラーベクトルベースのfew-shot選択が、メッセージ埋め込みベースの選択を上回った。
• 厳密な1例除外（leave-one-out）の例バンクでも、システムの性能は安定しており、最小限の例セットでも検索ベースのfew-shot学習が効果的に機能することが示された。
• 結果は、AIがコード補完者ではなくデバッガーとして機能する「逆転した」AIプログラミングモデルの実現可能性を裏付けた。開発ワークフローにおける摩擦を顕著に低減できる。