[論文レビュー] Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering

Tal Ridnik, Dedy Kredo+1 more|arXiv (Cornell University)|Jan 16, 2024

Software Engineering Research被引用数 18

ひとこと要約

AlphaCodium は、入力出力テストに対してコードを反復的に生成・修正する、コード指向のテスト駆動型の多段フローで、GPT-4 validation pass@5 が19%から44%へ向上するなど、CodeContests でのコード生成性能を大幅に向上させる。

ABSTRACT

Code generation problems differ from common natural language problems - they require matching the exact syntax of the target language, identifying happy paths and edge cases, paying attention to numerous small details in the problem spec, and addressing other code-specific issues and requirements. Hence, many of the optimizations and tricks that have been successful in natural language generation may not be effective for code tasks. In this work, we propose a new approach to code generation by LLMs, which we call AlphaCodium - a test-based, multi-stage, code-oriented iterative flow, that improves the performances of LLMs on code problems. We tested AlphaCodium on a challenging code generation dataset called CodeContests, which includes competitive programming problems from platforms such as Codeforces. The proposed flow consistently and significantly improves results. On the validation set, for example, GPT-4 accuracy (pass@5) increased from 19% with a single well-designed direct prompt to 44% with the AlphaCodium flow. Many of the principles and best practices acquired in this work, we believe, are broadly applicable to general code generation tasks. Full implementation is available at: https://github.com/Codium-ai/AlphaCodium

研究の動機と目的

• 自然言語 prompting とコード生成のニーズのギャップを、コード志向の反復フローを設計して埋める。
• 前処理、問題の反省、テスト駆動の反復を活用して解法の品質を向上させる。
• AI生成テストを生成し、反復修正を導くためのテストアンカーを使用して堅牢性を高める。
• オープンモデルとクローズドモデルの CodeContests での有効性を示し、従来のアプローチと比較する。

提案手法

• AlphaCodium を導入する、2 段階のフロー（自然言語での前処理、続く反復的なコード生成とテスト） 。
• 問題の反省と公開テスト推論を用いてタスクを詳細に根拠づける。
• 2–3 個の候補解を生成し、正確性と堅牢性でランキングする。
• エッジケースを含む公開テストにはない 6–8 の AI 生成テストを作成し、初期のコード解を作成してテストを横断して実行・修正する。
• 公開テストに対してコードを反復的に実行・修正し、その後 AI 生成テストに対しても、テストアンカーを使ってリグレッションを防ぐ。
• YAML 構造化出力、箇条書きの意味推論、モジュラーコード、二重検証、段階的意思決定、テストアンカーといったコード志向の設計概念を採用する。

(a) The proposed AlphaCodium flow.

実験結果

リサーチクエスチョン

• RQ1 AlphaCodium フローは、オープンモデルとクローズドモデルの直接 prompting と比較してどの程度の性能を示すか？
• RQ2 コード志向のフローは、AlphaCode や CodeChain のような従来手法と比べて CodeContests の堅牢性と成功率を改善するか？
• RQ3 AlphaCodium の計算効率は、従来のコード生成システムと比較してどうか？
• RQ4 提案された設計概念（YAML 出力、モジュール化されたコード、テストアンカー）は、コード生成タスク全般に有益か？

主な発見

• AlphaCodium は、モデルを横断した CodeContests における LLM のパフォーマンスを一貫して向上させる（例：GPT-4 バリデーションの pass@5 が 19% から 44% へ改善）。
• このフローは、AlphaCode よりはるかに少ない LLM 呼び出し回数で優れた結果を達成しており、サンプル効率が高く計算コストが低いことを示す。
• AlphaCodium は、CodeChain や AlphaCode のような過去の研究を上回る指標を示し、広く利用可能な汎用モデルを用いてファインチューニングを大規模に行わずに達成している。
• GPT-4 では、直接 prompting に比べて検証時の pass@5 の改善が約2.3倍の要因である（19% から 44%）。
• このアプローチは、検証セットとテストセットの両方、およびオープンソースとクローズドソースのモデルの間で効果を維持する。

(b) Illustrating the improvement from AlphaCodium.