[論文レビュー] RAPGen: An Approach for Fixing Code Inefficiencies in Zero-Shot

Spandan Garg, Roshanak Zilouchian Moghaddam+1 more|arXiv (Cornell University)|Jun 29, 2023

Software System Performance and Reliability被引用数 5

ひとこと要約

RAPGenは、過去の修正事例の知識ベースからパフォーマンスバグの修正手順を検索し、大規模言語モデル（例：Codex）向けに効果的なプロンプトを生成するゼロショットプロンプト工学手法である。開発者レベルの修正品質を約60％のケースで達成し、正確な再現（verbatim）の修正を約39％のケースで生成する。これにより、ファインチューニングやルールベースのシステムへの依存が著しく削減される。

ABSTRACT

Performance bugs are non-functional bugs that can even manifest in well-tested commercial products. Fixing these performance bugs is an important yet challenging problem. In this work, we address this challenge and present a new approach called Retrieval-Augmented Prompt Generation (RAPGen). Given a code snippet with a performance issue, RAPGen first retrieves a prompt instruction from a pre-constructed knowledge-base of previous performance bug fixes and then generates a prompt using the retrieved instruction. It then uses this prompt on a Large Language Model (such as Codex) in zero-shot to generate a fix. We compare our approach with the various prompt variations and state of the art methods in the task of performance bug fixing. Our evaluation shows that RAPGen can generate performance improvement suggestions equivalent or better than a developer in ~60% of the cases, getting ~42% of them verbatim, in an expert-verified dataset of past performance changes made by C# developers.

研究の動機と目的

• パフォーマンスバグ（検出が難しく、専門知識を要する非機能的欠陥）を、高価なファインチューニングやルールベースのシステムに依存せずに修正する挑戦に応えること。
• 専用モデルのトレーニングではなく、プロンプト工学を活用することで、パフォーマンスバグ修正ツールの保守コストを低減し、一般化能力を向上させること。
• 事前に学習されたLLMを用いて、知識ベースとしての過去の修正パターンを構築することで、ゼロショットでスケーラブルかつ拡張可能なパフォーマンス修正生成を実現すること。
• 履歴のパフォーマンスバグ修正から効果的な命令テンプレートを検索・再利用することで、手動でのプロンプト設計への依存を減らし、修正品質を向上させること。

提案手法

• RAPGenは、過去のパフォーマンスバグ修正の知識ベースを構築し、バグのあるAPIの使用法とそれに対応する自然言語による修正手順を抽出する。
• バグのあるコードスニペットと、非効率な行が特定された状態で、RAPGenは意味的類似度を用いて知識ベースから最も関連性の高い修正手順を検索する。
• バグのあるメソッド、検索された手順をコメントとして組み合わせ、メソッドシグネチャを加えることで、LLMが正しい修正を生成するよう誘導するプロンプトを構築する。
• そのプロンプトを、Codexのような事前学習済みLLMにゼロショット設定で入力し、コードのパフォーマンス最適化版を生成する。
• ファインチューニングを回避し、動的かつ柔軟に新たなパフォーマンス問題に適応できる、リtrieval増強型プロンプト生成に依存する。
• 本手法は、C#のパフォーマンス修正に関する開発者検証済みデータセット上で評価され、RAPGenの出力と人間が作成した修正を比較した。

実験結果

リサーチクエスチョン

• RQ1 リtrieval増強型プロンプト生成は、ゼロショット設定下でLLMが生成するパフォーマンスバグ修正の正確性と関連性を向上させることができるか？
• RQ2 RAPGenのパフォーマンスは、DeepDev-PERFなどの最先端モデルと比較して、正しいかつ効率的なコード修正を生成する点で優れているか？
• RQ3 ファインチューニングなしで、過去の修正手順の知識ベースが、プロンプト品質と修正効果をどの程度向上させられるか？
• RQ4 プロンプトに特定のバグのある行を組み込むことで、全メソッドを提供する手法と比較して、より優れた修正提案が得られるか？

主な発見

• 専門家が検証したC#パフォーマンス変更のデータセットにおいて、RAPGenは約60％のケースで開発者による修正と同等またはそれ以上の品質の修正を生成した。
• 約39％のケースで開発者による修正と完全に一致する（verbatim）修正を生成し、人間の意図と強い整合性を示した。
• 特にゼロショット環境下において、DeepDev-PERFや他のベースライン手法と比較して、正しい単一メソッドパフォーマンス修正を生成する点で優れた性能を示した。
• 特定の修正手順を検索し、プロンプトに組み込むことで、汎用的または手動で作成されたプロンプトと比較して、修正品質が著しく向上した。
• ゼロショット設計により、モデルのファインチューニングの必要がなく、保守のオーバーヘッドも削減され、言語やバグの種別を問わずスケーラブルに拡張可能である。
• 本手法は、適切に整備された過去の修正事例の知識ベースに従うことで、有効なプロンプト工学が、エンドツーエンドのファインチューニング済みモデルと同等またはそれを上回るパフォーマンスバグ修正を実現できることを示した。