[논문 리뷰] Computing Education in the Era of Generative AI

Paul Denny, James Prather외 8명|arXiv (Cornell University)|2023. 06. 05.

Software Engineering Research인용 수 10

한 줄 요약

본 논문은 생성형 AI와 코드 생성 모델(예: Codex, Copilot, GPT-4)이 입문 프로그래밍 교육에 제기하는 도전과 기회를 고찰하고, 이러한 모델이 학습 자료를 생성하고 피드백을 개선하는 방식과 함께 무결성 및 라이선스 관련 우려를 제기하는 점을 탐구한다.

ABSTRACT

The computing education community has a rich history of pedagogical innovation designed to support students in introductory courses, and to support teachers in facilitating student learning. Very recent advances in artificial intelligence have resulted in code generation models that can produce source code from natural language problem descriptions -- with impressive accuracy in many cases. The wide availability of these models and their ease of use has raised concerns about potential impacts on many aspects of society, including the future of computing education. In this paper, we discuss the challenges and opportunities such models present to computing educators, with a focus on introductory programming classrooms. We summarize the results of two recent articles, the first evaluating the performance of code generation models on typical introductory-level programming problems, and the second exploring the quality and novelty of learning resources generated by these models. We consider likely impacts of such models upon pedagogical practice in the context of the most recent advances at the time of writing.

연구 동기 및 목표

• 대형 언어 모델이 일반적인 CS1 프로그래밍 문제와 시험에서 어떻게 성능을 보이는지 평가한다.
• AI 생성 코드의 학업 무결성, 라이선스 문제, 학생의 과도한 의존 위험을 조사한다.
• AI를 활용해 학습 자료, 설명, 개선된 프로그래밍 오류 메시지를 생성하는 기회를 탐색한다.
• AI 발전에 비추어 입문 컴퓨팅 교육의 교수법 조정 및 향후 방향을 논의한다.

제안 방법

• CS1 문제와 자원에서 코드 생성 모델을 평가한 두 편의 최근 연구를 검토한다.
• 실험적 재현: Codex를 파이썬 CS1 시험 문제에서 학생 성과와 대조하여 평가한다.
• 다수의 Rainfall 문제 변형에 대한 분석으로 해법 다양성과 테스트 케이스에 대한 실행을 연구한다.
• 학습 자원 생성(프로그래밍 연습 문제 및 코드 설명)과 오류 메시지 개선에 대한 평가.
• AI 생성 코드와 관련된 학업 무결성, 라이선스, 편향 고려에 대한 논의.

실험 결과

연구 질문

• RQ1 코드 생성 모델이 일반적인 CS1 프로그래밍 문제에서 초보 프로그래머와 비교해 얼마나 잘 수행하는가?
• RQ2 입문 컴퓨팅 과정에서 AI 생성 코드가 학업 무결성, 표절 탐지, 라이선스에 미치는 함의는 무엇인가?
• RQ3 LLM 기반 시스템이 CS1을 위한 효과적인 학습 자료(연습 문제, 설명)를 어떻게 생성할 수 있으며 그 신뢰성은 어느 정도인가?
• RQ4 학생 의존 과다 및 보안에 취약한 코드와 같은 위험을 완화하면서 AI를 활용한 교수법 조정은 어떤 것이 있는가?
• RQ5 교육에서 AI 생성 코드와 관련된 잠재적 편향과 보안 우려는 무엇인가?

주요 결과

측정 지표	대표 결과
샘플 해답이 있습니까?	84.6% (203 / 240)
샘플 해답 실행 가능?	89.7% (182 / 203)
테스트 케이스가 있습니까?	70.8% (170 / 240)
모든 테스트가 통과합니까?	30.9% (51 / 165)
전체(100%) 문장 커버리지?	94.1% (48 / 51)

• Codex는 Exam 1에서 78.5% (15.7/20), Exam 2에서 78.0% (19.5/25)를 달성해 분석된 CS1 과정의 71명 학생 중 17위를 차지했다.
• Codex의 성능은 프롬프트 제약에 따라 달랐고, 언어 기능이 제한되거나 출력이 특정 형식(ASCII 아트)을 요구할 때 종종 실패했다.
• 50개의 Rainfall 문제 변형(350 평가)에서 Codex 평균 약 50%를 보였고 다양한 해법을 제시했다; 생성된 연습 문제의 84.6%에 샘플 해답이 포함되었고 그 해답의 89.7%가 실행 가능했다.
• 생성된 설명에서 줄별 설명의 90%가 모든 코드 부분을 다루었고 줄당 약 70%가 정확했다; 더 새로운 모델(예: ChatGPT)에서 더 높은 품질의 설명이 나타났다.
• AI 지원 자원 생성은 주제에 맞춘 새롭고 독창적인 연습문제와 테스트를 생성할 잠재력을 보여주며, 개념에 대한 충분한 범위를 다루어 더 넓은 교수법 실험을 가능하게 한다.
• 확인된 위험에는 학업 위반 문제, 생성 코드의 라이선스 및 저작인정 문제, 초보자에 의한 불안전한 코드 배포, AI 출력의 편향 등이 포함되며, 신중한 정책과 감독이 요청된다.