[論文レビュー] Is ChatGPT the Ultimate Programming Assistant -- How far is it?

Haoye Tian, Weiqi Lu+5 more|arXiv (Cornell University)|Apr 24, 2023

Software Engineering Research被引用数 108

ひとこと要約

本論文は、LeetCode および Refactory のベンチマークを用いて、コード生成、プログラム修正、コード要約に焦点を当てた完全自動化されたプログラミングアシスタントとしての ChatGPT を経験的に評価し、その能力と限界を浮き彫りにしている。

ABSTRACT

Recently, the ChatGPT LLM has received great attention: it can be used as a bot for discussing source code, prompting it to suggest changes, provide descriptions or even generate code. Typical demonstrations generally focus on existing benchmarks, which may have been used in model training (i.e., data leakage). To assess the feasibility of using an LLM as a useful assistant bot for programmers, we must assess its realistic capabilities on unseen problems as well as its capabilities on various tasks. In this paper, we present an empirical study of ChatGPT's potential as a fully automated programming assistant, focusing on the tasks of code generation, program repair, and code summariziation. The study investigates ChatGPT's performance on common programming problems and compares it with state-of-the-art approaches on two benchmarks. Among several findings, our study shows that ChatGPT is effective in dealing with common programming problems. However, our experiments also reveal limitations in terms of its attention span: detailed descriptions will constrain the focus of ChatGPT and prevent it from leveraging its vast knowledge to solve the actual problem. Surprisingly, we have identified the ability of ChatGPT to reason the original intention of the code. We expect future work to build on this insight for dealing with the open question of the oracle problem. Our findings contribute interesting insights to the development of LLMs for programming assistance, notably by demonstrating the importance of prompt engineering, and providing a better understanding of ChatGPT's practical applications for software engineering.

研究の動機と目的

• 一般的なプログラミング課題に対して正しく効率的なコードを生成する ChatGPT の能力を評価する。
• 多様なバグを含むコード提出物の修復における ChatGPT の有効性を評価する。
• ChatGPT がコードの意図を識別し、簡潔な説明を提供できるかどうかを判断する。
• プロンプト設計と入力記述がソフトウェア工学タスクにおける ChatGPT の性能にどのように影響するかを調査する。

提案手法

• コード生成性能を評価するために、LeetCode ベースの2つのデータセット（2016-2020 と 2022）を使用する。
• Refactory Python バグベンチマーク（1783 の buggy プログラム、2442 の correct）を用いてプログラム修復を評価する。
• 正しいコードおよび buggy コードの意図を説明する能力を評価する（コード要約）。
• 各課題につき独立した5つのプロンプトを用いてランダム性を考慮し、TOP-5 および AVG-5 指標を報告する。
• 訓練時にベンチマークが見られた可能性を分析してデータ漏洩の懸念を緩和する。

実験結果

リサーチクエスチョン

• RQ1 RQ-1 一般的なプログラミング問題に対して、ChatGPT は正しく効率的なコードをどれだけ生成できるか？
• RQ2 RQ-2 一般的な問題に対する多様な buggy コード実装を ChatGPT がどれだけ効果的に修復できるか？
• RQ3 RQ-3 与えられたコード（欠陥のあるバージョンを含む）の意図を識別し、説明できるか？

主な発見

• ChatGPT は幅広い問題で正しいコードを生成でき、LeetCode データで従来のいくつかの手法を上回る。
• ChatGPT の性能は新しいまたは難しい問題に対して低下し、未見の問題への一般化が限定的であることを示している。
• 長い説明を提供すると ChatGPT の効果が低下する可能性があるため、プロンプト設計は良い結果のために重要である。
• ChatGPT は修復結果で競争力を持ち、TOP-5 成功率は約84%、AVG-5 は約60% であり、出力の多様性から利益を得る。
• ChatGPT は buggy コードの元の意図を識別でき、テストオラクル問題への洞察を提供する。
• 本研究は、ChatGPT を自律的なプログラマーとしてではなく補助ツールとして使用すべきことを強調し、複数出力の重要性を指摘している。