[論文レビュー] Extending the Frontier of ChatGPT: Code Generation and Debugging

Fardin Ahsan Sakib, Saadat Hasan Khan+1 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用数 9

ひとこと要約

tldr: The paper evaluates ChatGPT’s ability to generate and debug code for LeetCode problems, finding a 71.875% overall success rate with limited improvement from feedback and stronger performance on structured problems.

ABSTRACT

Large-scale language models (LLMs) have emerged as a groundbreaking innovation in the realm of question-answering and conversational agents. These models, leveraging different deep learning architectures such as Transformers, are trained on vast corpora to predict sentences based on given queries. Among these LLMs, ChatGPT, developed by OpenAI, has ushered in a new era by utilizing artificial intelligence (AI) to tackle diverse problem domains, ranging from composing essays and biographies to solving intricate mathematical integrals. The versatile applications enabled by ChatGPT offer immense value to users. However, assessing the performance of ChatGPT's output poses a challenge, particularly in scenarios where queries lack clear objective criteria for correctness. For instance, evaluating the quality of generated essays becomes arduous and relies heavily on manual labor, in stark contrast to evaluating solutions to well-defined, closed-ended questions such as mathematical problems. This research paper delves into the efficacy of ChatGPT in solving programming problems, examining both the correctness and the efficiency of its solution in terms of time and memory complexity. The research reveals a commendable overall success rate of 71.875\%, denoting the proportion of problems for which ChatGPT was able to provide correct solutions that successfully satisfied all the test cases present in Leetcode. It exhibits strengths in structured problems and shows a linear correlation between its success rate and problem acceptance rates. However, it struggles to improve solutions based on feedback, pointing to potential shortcomings in debugging tasks. These findings provide a compact yet insightful glimpse into ChatGPT's capabilities and areas for improvement.

研究の動機と目的

• ChatGPT が自然言語の記述からプログラミング問題の正しいコード解を生成する能力を評価する。
• ChatGPT のフィードバック提供に基づくデバッグ能力を評価する。
• 問題領域、難易度、受入率を横断して性能を分析し、強みと限界を特定する。
• 成功した場合の ChatGPT 生成解の実行時間とメモリ効率を特徴づける。

提案手法

• Tree、Divide and Conquer、Greedy、DP など複数ドメインにまたがる厳選された LeetCode ベースのデータセットを構築する。
• 問題記述とコード構造を提示して解を生成させ、評価のために LeetCode IDE で実行する。
• Passed Instance または RTE/TLE/MLE を伴う失敗と LeetCode テスト結果として記録する。
• ChatGPT に LeetCode のフィードバックを提供し、デバッグ機能を評価するために再提出させる。
• ドメイン、難易度、受入率を横断して結果を分析する。さらに成功解の実行時間とメモリ効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 このコード生成設定において、ChatGPT の LeetCode 問題解決の全体的な成功率はどれくらいか。
• RQ2 このコード生成設定における問題ドメインと難易度の組み合わせで ChatGPT はどのように性能を示すか。
• RQ3 ChatGPT は LeetCode のフィードバックからどの程度学習して解を改善できるか（デバッグ性能）？

主な発見

• ChatGPT は全体の成功率 71.875%（128 問題中 92 問題）を達成した。
• 成功例のうち 84 件は初回の試行で、8 件はフィードバック後にデバッグを要した。
• フィードバック後のデバッグ改善は再試行ケースの 36.7% のみで発生し、改訂後の解は元よりテストケースに合格する割合が 63% 減少した。
• Tree および Divide and Conquer 問題で最も良いパフォーマンスを示し、Greedy および Dynamic Programming ドメインでは苦戦した。
• Solve 成功は問題の受入率と相関し、Easy 問題では最大 90% の高い成功率を示す一方、Hard 問題では約 55% の成功。
• 効率性（実行時間/メモリ）の改善は一定ではなく、受入率が高いほど効率信号が良好である。