[논문 리뷰] ChatGPT, Can You Generate Solutions for my Coding Exercises? An Evaluation on its Effectiveness in an undergraduate Java Programming Course

Eng Lieh Ouh, Benjamin Kok Siew Gan외 2명|arXiv (Cornell University)|2023. 05. 23.

Artificial Intelligence in Healthcare and Education인용 수 10

한 줄 요약

이 논문은 ChatGPT(3.5 및 4)를 80개의 학부 과제에 대해 Java 프로그래밍 솔루션 생성 능력을 평가하고, 정확성, 가독성, 및 카테고리별 한계를 조사합니다.

ABSTRACT

In this study, we assess the efficacy of employing the ChatGPT language model to generate solutions for coding exercises within an undergraduate Java programming course. ChatGPT, a large-scale, deep learning-driven natural language processing model, is capable of producing programming code based on textual input. Our evaluation involves analyzing ChatGPT-generated solutions for 80 diverse programming exercises and comparing them to the correct solutions. Our findings indicate that ChatGPT accurately generates Java programming solutions, which are characterized by high readability and well-structured organization. Additionally, the model can produce alternative, memory-efficient solutions. However, as a natural language processing model, ChatGPT struggles with coding exercises containing non-textual descriptions or class files, leading to invalid solutions. In conclusion, ChatGPT holds potential as a valuable tool for students seeking to overcome programming challenges and explore alternative approaches to solving coding problems. By understanding its limitations, educators can design coding exercises that minimize the potential for misuse as a cheating aid while maintaining their validity as assessment tools.

연구 동기 및 목표

• ChatGPT가 학부 과정의 Java 프로그래밍 과제에 대한 솔루션을 얼마나 효과적으로 생성할 수 있는지 평가한다.
• 다양한 과제 카테고리에서 ChatGPT-생성 솔루션을 기대 결과와 비교한다.
• 오용을 최소화하면서 학습을 유지하기 위한 강점, 한계 및 교육적 시사점을 식별한다.

제안 방법

• ChatGPT 버전 3.5 및 4에 대해 Java 코드 출력을 명시적으로 지시하여 주간 Java 프로그래밍 과제 지침을 입력한다.
• 생성된 Java 코드를 로컬에서 실행하고 예상 출력과 결과를 비교한다.
• 과제 카테고리별로 성능을 분석한다: Java Basics, Object-Oriented Concepts, Java Classes and Methods, Java Packaging, Java Exceptions and I/O.
• 텍스트 기반 입력과 API 문서 및 UML 다이어그램과 같은 비텍스트 입력 간의 차이를 주목한다.
• 수업 지도, 평가 설계 및 비동기 학습 지원에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 Java 프로그래밍 과제에 대한 코드 솔루션 생성에서 ChatGPT의 효과성은 얼마나 되는가?
• RQ2 다양한 Java 프로그래밍 주제에서 ChatGPT의 강점과 한계는 무엇인가?
• RQ3 평가 무결성을 유지하면서 메모리 효율적인 대안 솔루션 및 디버깅 지원을 ChatGPT가 제공할 수 있는가?

주요 결과

• ChatGPT는 많은 Java Basics 과제의 요구사항을 충족하는 솔루션을 생성할 수 있다.
• ChatGPT-4는 더 복잡하거나 다이어그램 기반의 지시에 대해 ChatGPT-3.5보다 뛰어나다.
• API 문서나 UML 다이어그램과 같은 비텍스트 입력에 의존하는 과제의 경우 성능이 저하된다.
• ChatGPT는 문자열 빌더(StringBuilder) 등을 사용한 메모리 효율적인 대안을 제시할 수 있지만 최적화 비교를 위한 후속 프롬프트가 필요할 수 있다.
• ChatGPT가 생성한 솔루션은 비동기 학습 및 디버깅에 도움을 줄 수 있지만 초기 부정확성이 가능하며 학생의 평가가 필요하다.