[論文レビュー] Improving ChatGPT Prompt for Code Generation

Chao Liu, Xuanlin Bao+5 more|arXiv (Cornell University)|May 15, 2023

Software Engineering Research被引用数 38

ひとこと要約

本論文は、思考過程を含む慎重に設計されたプロンプトと多段階最適化が、CodeXGlueにおけるChatGPTのテキストからコードへの生成とコードからコードへの生成を大幅に改善することを示し、簡潔さ、セッションコンテキスト、ランダム性などの要因を分析する。

ABSTRACT

Automated code generation can be a powerful technique for software development, significantly reducing developers' efforts and time required to create new code by generating it automatically based on requirements. Recently, OpenAI's language model ChatGPT has emerged as a powerful tool for generating human-like responses to a wide range of textual inputs (i.e., prompts), including those related to code generation. However, the effectiveness of ChatGPT for code generation is not well understood, and the generation performance could be heavily influenced by the choice of prompt. To answer these questions, we conducted experiments using the CodeXGlue dataset to evaluate ChatGPT's capabilities for two code generation tasks, including text-to-code and code-to-code generation. We designed prompts by leveraging the chain-of-thought strategy with multi-step optimizations. Our results showed that by carefully designing prompts to guide ChatGPT, the generation performance can be improved substantially. We also analyzed the factors that influenced the prompt design and provided insights that could guide future research.

研究の動機と目的

• CodeXGlueを用いて、2つのタスク（テキストからコードへ／コードからコードへ）でChatGPTのコード生成性能を評価する。
• 思考過程と多段階最適化をガイドするためのプロンプト設計技術を調査する。
• プロンプト設計に影響を与える要因を特定し、今後の研究に向けた実用的な洞察を提供する。

提案手法

• CodeXGlueを用いてT2CとC2CタスクでChatGPTを評価する。
• 手動の思考過程に基づく多段階最適化（P1–P5）を組み込んだプロンプトを設計する。
• BLEUとCodeBLEUの指標でプロンプトを評価し、改善を分析する。
• ベースラインとしてChatGPT-task、ChatGPT-detail、ChatGPT-behaviourをテストする。
• 簡潔さ、セッション、生成のランダム性の影響を検討する。
• CodeXGlue上で微調整済みLLMとChatGPTを比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 設計されたプロンプトはT2CおよびC2Cタスクでどれくらい効果的か？
• RQ2 RQ2: 簡潔さを求める要求はChatGPTが生成するコードにどのような影響を与えるか？
• RQ3 RQ3: セッション（連続 vs. 個別）設定はChatGPTの出力にどのような影響を与えるか？
• RQ4 RQ4: 生成のランダム性はChatGPTのコード品質と一貫性にどのような影響を与えるか？

主な発見

課題	モデル	BLEU	CodeBLEU
T2C	ChatGPT-task	5.63	28.05
T2C	ChatGPT-detail	14.09	39.90
T2C	ChatGPT-behaviour	21.59	48.69
C2C	ChatGPT-task	10.61	46.12
C2C	ChatGPT-detail	15.79	47.71
C2C	ChatGPT-behaviour	9.47	47.38

• プロンプト設計はT2CとC2Cの両方の性能を大幅に改善する（ベースラインに対するBLEUおよびCodeBLEUの向上など）。
• 簡潔さの要求はT2Cの結果を改善する（BLEUとCodeBLEU）、ただしC2Cでは効果が混在する。
• 連続セッションはC2Cには有利だがT2Cには有利でない一方、この設定では個別セッションがT2Cに適している。
• 生成のランダム性は設計されたプロンプトの下ではほとんど影響がなく、複数回の実行で安定した結果を示す。