[논문 리뷰] The Robots are Here: Navigating the Generative AI Revolution in Computing Education

James Prather, Paul Denny외 13명|arXiv (Cornell University)|2023. 10. 01.

Teaching and Learning Programming참고 문헌 150인용 수 8

한 줄 요약

한 comprehensive working group 보고서는 대규모 언어 모델(LLMs)이 컴퓨팅 교육에 미치는 영향에 대해 문헌, 이해관계자 태도, 교수법 변화, 윤리, 재현성, 벤치마크 발견을 종합적으로 정리합니다. 71편의 주요 기사를 검토하고, 20개국을 조사하며, 교육자 인터뷰, 윤리적 프레이밍, 그리고 성능 벤치마크를 포함합니다.

ABSTRACT

Recent advancements in artificial intelligence (AI) are fundamentally reshaping computing, with large language models (LLMs) now effectively being able to generate and interpret source code and natural language instructions. These emergent capabilities have sparked urgent questions in the computing education community around how educators should adapt their pedagogy to address the challenges and to leverage the opportunities presented by this new technology. In this working group report, we undertake a comprehensive exploration of LLMs in the context of computing education and make five significant contributions. First, we provide a detailed review of the literature on LLMs in computing education and synthesise findings from 71 primary articles. Second, we report the findings of a survey of computing students and instructors from across 20 countries, capturing prevailing attitudes towards LLMs and their use in computing education contexts. Third, to understand how pedagogy is already changing, we offer insights collected from in-depth interviews with 22 computing educators from five continents who have already adapted their curricula and assessments. Fourth, we use the ACM Code of Ethics to frame a discussion of ethical issues raised by the use of large language models in computing education, and we provide concrete advice for policy makers, educators, and students. Finally, we benchmark the performance of LLMs on various computing education datasets, and highlight the extent to which the capabilities of current models are rapidly improving. Our aim is that this report will serve as a focal point for both researchers and practitioners who are exploring, adapting, using, and evaluating LLMs and LLM-based tools in computing classrooms.

연구 동기 및 목표

• 2023년 8월까지 컴퓨팅 교육에서 LLM에 관한 연구 현황을 요약한다.
• 교육에서 LLM에 대한 학생과 교사의 국제적 태도를 파악한다.
• LLMs에 의해 영향을 받는 교수 방법과 교과 과정의 적응을 식별한다.
• ACM 윤리 강령을 활용하여 윤리 및 정책 고려사항을 구성한다.
• 컴퓨팅 교육 데이터셋에서 LLM 성능을 벤치마킹하고 실무에 대한 시사점을 논의한다.

제안 방법

• 2023년 8월까지의 컴퓨팅 교육에서 LLM에 관한 논문들에 대한 스코핑 문헌고찰을 수행한다.
• 관련 연구의 포워드 및 백워드 스노볼링을 수행하여 포괄적인 관련 연구 집합을 식별한다.
• 문헌을 카테고리로 분류한다(성능 평가, 교수 자료, 학생 작업 분석, 프로그래머-LLM 상호작용, 설문조사).
• 20개국의 학생과 교사를 대상으로 한 국제 설문조사를 포함한다.
• 5대륙에 걸친 22명의 컴퓨팅 교육자와 심층 인터뷰를 수행한다.
• ACM 윤리 강령을 통해 윤리적 논의를 구성하고 정책/실무 권고를 제시한다.
• 새로운 LLM을 사용하여 선행 연구를 재현하고 재현성 및 데이터셋을 설명한다.

Figure 1 . Phases of the literature review.

실험 결과

연구 질문

• RQ1 2023년 중반 기준으로 컴퓨팅 교육에서 LLM에 대한 연구의 현재 상태와 범위는 무엇인가?
• RQ2 다수의 국가에 걸친 학생과 교사는 컴퓨팅 교육에서 LLM을 어떻게 인식하고 채택하고 있는가?
• RQ3 LLM의 기능으로 인해 어떤 교수 실천과 교과과정의 적응이 나타나고 있는가?
• RQ4 컴퓨팅 교육에서 LLM 사용으로 어떤 윤리적 고려가 제기되며 기관은 이를 어떻게 다루고 있는가?
• RQ5 현대의 LLM이 컴퓨팅 교육 데이터셋에서 어떻게 성능을 보이며, 이는 향후 실무에 어떤 시사점을 주는가?

주요 결과

• 증거에 따르면 LLM은 코딩 과제에서 평균 학생의 수준과 동등하거나 그 이상으로 코드를 생성할 수 있지만, 특정 MCQ 및 개념적 문제에서 성능이 떨어질 수 있다.
• LLMs은 오류 설명, 개인화된 교수 자료, Prompt Problems와 같은 새로운 문제 유형에 대한 잠재적 이점을 제공한다.
• 윤리 및 진실성 문제가 두드러지며, LLM생성 텍스트 탐지기가 거짓 양성을 보이기 쉽다; 정책 지침이 필요하다.
• 교육자들은 교과과정 조정의 이점과 도전을 모두 보고하며, 더 자율적이고 맞춤화된 학습 경험으로의 추세가 있다.
• 문헌은 빠르게 진화하고 있으며, 식별된 논문은 71편(필터링 후 38편)이고 arXiv 분산 작업으로의 강한 이동이 있어 분야의 빠른 진전을 강조한다.

Figure 2 . Summaries of the survey responses from 171 students and 57 instructors: 1) Students’ and instructors’ perspectives were compared along likert scale responses, 2) students ranked their help seeking preferences from 1 to 6, and 3) instructors shared their beliefs about the ethical use of Ge