[논문 리뷰] Is ChatGPT the Ultimate Programming Assistant -- How far is it?

Haoye Tian, Weiqi Lu외 5명|arXiv (Cornell University)|2023. 04. 24.

Software Engineering Research인용 수 108

한 줄 요약

본 논문은 LeetCode 및 Refactory 벤치마크를 사용하여 코드 생성, 프로그램 수리, 코드 요약에 중점을 둔 전체 자동화된 프로그래밍 어시스턴트로서 ChatGPT를 경험적으로 평가하며, 능력과 한계를 강조한다.

ABSTRACT

Recently, the ChatGPT LLM has received great attention: it can be used as a bot for discussing source code, prompting it to suggest changes, provide descriptions or even generate code. Typical demonstrations generally focus on existing benchmarks, which may have been used in model training (i.e., data leakage). To assess the feasibility of using an LLM as a useful assistant bot for programmers, we must assess its realistic capabilities on unseen problems as well as its capabilities on various tasks. In this paper, we present an empirical study of ChatGPT's potential as a fully automated programming assistant, focusing on the tasks of code generation, program repair, and code summariziation. The study investigates ChatGPT's performance on common programming problems and compares it with state-of-the-art approaches on two benchmarks. Among several findings, our study shows that ChatGPT is effective in dealing with common programming problems. However, our experiments also reveal limitations in terms of its attention span: detailed descriptions will constrain the focus of ChatGPT and prevent it from leveraging its vast knowledge to solve the actual problem. Surprisingly, we have identified the ability of ChatGPT to reason the original intention of the code. We expect future work to build on this insight for dealing with the open question of the oracle problem. Our findings contribute interesting insights to the development of LLMs for programming assistance, notably by demonstrating the importance of prompt engineering, and providing a better understanding of ChatGPT's practical applications for software engineering.

연구 동기 및 목표

• 일반적인 프로그래밍 문제에 대해 올바르고 효율적인 코드를 생성하는 ChatGPT의 능력을 평가한다.
• 다양한 버그가 있는 코드 제출을 수정하는 ChatGPT의 효과를 평가한다.
• ChatGPT가 코드의 의도를 식별하고 간결한 설명을 제공할 수 있는지 판단한다.
• 프롬프트 설계와 입력 설명이 소프트웨어 공학 작업에서 ChatGPT의 성능에 어떤 영향을 미치는지 조사한다.

제안 방법

• 코드 생성 성능을 평가하기 위해 두 개의 LeetCode 기반 데이터셋(2016-2020 및 2022)을 사용한다.
• 프로그래밍 수리 평가를 위해 Refactory Python 버그 벤치마크(1783개의 버그가 있는 프로그램, 2442개의 정답)를 사용한다.
• 정상 코드와 버그가 있는 코드의 의도를 설명하는 ChatGPT의 능력(코드 요약)을 평가한다.
• 무작위성을 고려하여 작업당 다섯 개의 독립 프롬프트를 활용하고 TOP-5 및 AVG-5 지표를 보고한다.
• 훈련 중 벤치마크가 학습에 노출되었을 가능성을 분석하여 데이터 누수 우려를 완화한다.

실험 결과

연구 질문

• RQ1 RQ-1 일반적인 프로그래밍 문제에 대해 ChatGPT가 정확하고 효율적인 코드를 얼마나 잘 생성할 수 있는가?
• RQ2 RQ-2 일반적인 문제에 대한 다양한 버그 코드 구현을 ChatGPT가 얼마나 효과적으로 수리할 수 있는가?
• RQ3 RQ-3 주어진 코드의 의도를 식별하고 설명할 수 있는가, 버전 포함?

주요 결과

• ChatGPT는 다양한 문제에서 올바른 코드를 생성할 수 있으며 LeetCode 데이터에서 일부 기존 접근법을 능가한다.
• ChatGPT의 성능은 새롭거나 더 어려운 문제에서 감소하여 미확인 문제에 대한 일반화가 제한적임을 시사한다.
• 길고 자세한 설명은 ChatGPT의 효율을 감소시킬 수 있으며, 프롬프트 엔지니어링이 좋은 결과의 핵심이다.
• ChatGPT는 TOP-5 성공률 약 84%, AVG-5 약 60%로 경쟁력 있는 수리 결과를 달성하며 출력 다양성으로 이점을 얻는다.
• ChatGPT는 버그 코드의 원래 의도를 식별할 수 있어 테스트 오라클 문제에 대한 통찰을 제공한다.
• 본 연구는 ChatGPT를 자율 프로그래머가 아니라 보조 도구로 사용해야 하며, 다중 출력의 중요성을 강조한다.