[논문 리뷰] ChatGPT impacts in programming education: A recent literature overview that debates ChatGPT responses

Christos‐Nikolaos Anagnostopoulos|arXiv (Cornell University)|2023. 08. 30.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 핵심 문제들에 대해 ChatGPT를 쿼리하고 최근의 문헌과 비교하여 그 응답을 검증함으로써 채팅GPT의 프로그래밍 교육에 미치는 영향을 조사한다. 응용 분야, 장점, 한계 및 윤리적 우려 사항을 특정하고, AI가 명확한 역할과 협업 규칙을 갖춘다면 교육 분야에서 변혁적인 파artner가 될 수 있음을 결론 내린다.

ABSTRACT

This paper aims at a brief overview of the main impact of ChatGTP in the scientific field of programming and learning/education in computer science. It lists, covers and documents from the literature the major issues that have been identified for this topic, such as applications, advantages and limitations, ethical issues raised. Answers to the above questions were solicited from ChatGPT itself, the responses were collected, and then the recent literature was surveyed to determine whether or not the responses are supported. The paper ends with a short discussion on what is expected to happen in the near future. A future that can be extremely promising if humanity manages to have AI as a proper ally and partner, with distinct roles and specific rules of cooperation and interaction.

연구 동기 및 목표

• 채팅GPT가 프로그래밍 교육에 미치는 영향을 문헌 기반 분석을 통해 조사하기.
• 채팅GPT가 핵심 교육 주제에 대해 생성한 응답의 정확성과 신뢰성 평가하기.
• 프로그래밍 교육에서의 AI 관련 응용 분야, 장점, 한계 및 윤리적 우려 사항 특정하기.
• 채팅GPT의 응답이 최근 학술 문헌의 결과와 일치하는지 평가하기.
• 책임감 있는 협업 프레임워크를 갖춘 컴퓨터 과학 교육 분야에서의 AI 통합 향후 영향 논의하기.

제안 방법

• 연구는 프로그래밍 교육의 核심 주제—응용 분야, 이점, 한계 및 윤리적 문제—에 대해 채팅GPT를 쿼리한다.
• 채팅GPT의 응답을 수집하고 최근의 동료 심사 통과된 문헌과 체계적으로 비교한다.
• 사실 정확성과 완전성을 검증하기 위해 문헌 리뷰를 수행한다.
• 모델의 응답에서 발생하는 모순, 과장 또는 누락 사항을 식별하는 데 분석을 집중한다.
• 채팅GPT의 응답이 현재의 연구 추세와 교육 관행과 일관된지 평가한다.
• 명확한 역할과 윤리 지침을 포함한 향후 AI-교육 협업 모델에 대한 반성적 논의를 제공한다.

실험 결과

연구 질문

• RQ1 채팅GPT의 프로그래밍 교육 관련 응답이 최근 학술 문헌의 결과와 어느 정도 일치하는가?
• RQ2 AI 및 학술 자료 양측에서 볼 때 채팅GPT를 프로그래밍 교육에 활용하는 주요 응용 분야, 장점 및 한계는 무엇인가?
• RQ3 문헌에서 제기된 AI 사용에 대한 윤리적 우려 사항은 무엇이며, 채팅GPT의 자체 응답과 비교해보면 어떻게 되는가?
• RQ4 현재 연구를 기준으로 평가했을 때 채팅GPT의 응답은 얼마나 신뢰할 수 있고 사실에 기반한가?
• RQ5 책임감 있는 협업을 바탕으로 한 AI와 인간 교사 간의 협력에서 어떤 미래의 교육 모델이 도출될 수 있는가?

주요 결과

• 채팅GPT는 튜터링 및 코드 생성과 같은 프로그래밍 교육에서의 AI 응용 분야에 대해 일반적으로 정확하고 종합적인 응답을 제공한다.
• 최근의 문헌이 지지하는 바와 같이 개인 맞춤형 학습과 즉각적인 피드백과 같은 주요 장점을 정확히 식별한다.
• 채팅GPT의 응답에서 환각 현상과 과도한 자신감 등 한계가 나타났고, 이는 문헌으로서도 확인되었다.
• 학술적 정직성과 AI 의존도 증가와 같은 윤리적 우려 사항은 문헌과 채팅GPT의 응답 모두에서 일관되게 제기되었다.
• 연구는 채팅GPT의 응답이 현재의 연구와 대부분 일치하지만, 복잡한 교육학적 문제에 대해 뉘앙스나 깊이가 부족할 수 있음을 발견했다.
• 이 논문은 AI가 명확한 지침, 정의된 역할 및 인간의 감시를 통해 사용될 경우 유용한 교육 파artner가 될 수 있다고 결론 내린다.