[논문 리뷰] Extending the Frontier of ChatGPT: Code Generation and Debugging

Fardin Ahsan Sakib, Saadat Hasan Khan외 1명|arXiv (Cornell University)|2023. 07. 17.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 LeetCode 문제에 대한 ChatGPT의 코드 생성 및 디버깅 능력을 평가하여 피드백으로의 제한된 개선과 구조화된 문제에서의 더 강한 성능을 보이고 전체 성공률은 71.875%이다.

ABSTRACT

Large-scale language models (LLMs) have emerged as a groundbreaking innovation in the realm of question-answering and conversational agents. These models, leveraging different deep learning architectures such as Transformers, are trained on vast corpora to predict sentences based on given queries. Among these LLMs, ChatGPT, developed by OpenAI, has ushered in a new era by utilizing artificial intelligence (AI) to tackle diverse problem domains, ranging from composing essays and biographies to solving intricate mathematical integrals. The versatile applications enabled by ChatGPT offer immense value to users. However, assessing the performance of ChatGPT's output poses a challenge, particularly in scenarios where queries lack clear objective criteria for correctness. For instance, evaluating the quality of generated essays becomes arduous and relies heavily on manual labor, in stark contrast to evaluating solutions to well-defined, closed-ended questions such as mathematical problems. This research paper delves into the efficacy of ChatGPT in solving programming problems, examining both the correctness and the efficiency of its solution in terms of time and memory complexity. The research reveals a commendable overall success rate of 71.875\%, denoting the proportion of problems for which ChatGPT was able to provide correct solutions that successfully satisfied all the test cases present in Leetcode. It exhibits strengths in structured problems and shows a linear correlation between its success rate and problem acceptance rates. However, it struggles to improve solutions based on feedback, pointing to potential shortcomings in debugging tasks. These findings provide a compact yet insightful glimpse into ChatGPT's capabilities and areas for improvement.

연구 동기 및 목표

• 자연어 설명에서 프로그래밍 문제에 대한 올바른 코드 솔루션을 생성하는 ChatGPT의 능력을 평가합니다.
• LeetCode에서 피드백이 제공될 때 ChatGPT의 디버깅 능력을 평가합니다.
• 강점과 한계를 파악하기 위해 문제 도메인, 난이도, 수락률에 걸친 성능을 분석합니다.
• 성공적인 ChatGPT 생성 솔루션의 런타임 및 메모리 효율성을 특성화합니다.

제안 방법

• Tree, Divide and Conquer, Greedy, DP 등 다수 도메인을 포괄하는 큐레이티드 LeetCode 기반 데이터셋을 구성합니다.
• 문제 설명과 코드 구조를 프롬프트로 제공하여 솔루션을 생성하게 한 다음 평가를 위해 LeetCode IDE에서 실행합니다.
• 결과를 Passed Instance 또는 RTE/TLE/MLE 및 LeetCode 테스트 결과로 기록합니다.
• ChatGPT에 LeetCode 피드백을 제공하고 재제출하여 디버깅 능력을 평가합니다.
• 도메인, 난이도 및 수락률 전반에 걸친 결과를 분석하고, 성공적인 솔루션의 런타임 및 메모리 효율성도 평가합니다.

실험 결과

연구 질문

• RQ1 ChatGPT가 LeetCode 문제에 대해 올바른 솔루션을 생성하는 전반적인 성공률은 무엇인가요?
• RQ2 이 코딩 환경에서 문제 도메인 및 난이도 수준에 따라 ChatGPT는 어떻게 성능을 발휘하나요?
• RQ3 ChatGPT가 LeetCode 피드백으로부터 학습하여 솔루션을 개선할 수 있는 정도(디버깅 성능)는 어느 정도인가요?

주요 결과

• ChatGPT가 전체 성공률 71.875%를 달성했습니다(128개 문제 중 92개).
• 성공 사례 중 84건은 최초 시도에서, 8건은 피드백 후 디버깅이 필요했습니다.
• 피드백 이후 디버깅 개선은 재시도 사례의 36.7%에서만 발생했고, 수정된 솔루션의 63%는 이전보다 더 적은 테스트 케이스를 통과했습니다.
• 모델은 Tree 및 Divide and Conquer 문제에서 가장 잘 작동했으며 Greedy 및 Dynamic Programming 도메인에서 어려움을 겪었습니다.
• 해결 성공은 문제 수락률과 상관 관계가 있으며 Easy 문제의 경우 성공률이 최대 90%에 이르는 반면 Hard 문제는 약 55%의 성공을 보였습니다.
• 효율성(런타임/메모리) 향상은 일관되게 달성되지 않으며, 수락률이 더 높을수록 효율성 신호가 더 좋습니다.