[논문 리뷰] AI Meets the Classroom: When Do Large Language Models Harm Learning?

Matthias Lehmann, Philipp B. Cornelius외 1명|arXiv (Cornell University)|2024. 08. 29.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 ChatGPT와 같은 대형 언어 모델(LLMs)에의 접근이 코딩 교육에서 학습에 어떤 영향을 미치는지 조사한다. 설명용으로 사용할 때 학습을 높일 수 있지만 해결책을 제공하는 데 사용할 때에는 학습에 해를 끼치며, 사전 지식이 적은 학생일수록 부정적 효과가 더 강하다.

ABSTRACT

The effect of large language models (LLMs) in education is debated: Previous research shows that LLMs can help as well as hurt learning. In two pre-registered and incentivized laboratory experiments, we find no effect of LLMs on overall learning outcomes. In exploratory analyses and a field study, we provide evidence that the effect of LLMs on learning outcomes depends on usage behavior. Students who substitute some of their learning activities with LLMs (e.g., by generating solutions to exercises) increase the volume of topics they can learn about but decrease their understanding of each topic. Students who complement their learning activities with LLMs (e.g., by asking for explanations) do not increase topic volume but do increase their understanding. We also observe that LLMs widen the gap between students with low and high prior knowledge. While LLMs show great potential to improve learning, their use must be tailored to the educational context and students' needs.

연구 동기 및 목표

• LLM 접근이 코딩 교육에서 학습 결과에 미치는 영향을 현장 및 실험실 환경에서 조사한다.
• 설명 기반 사용 대 해결 추구 및 복사-붙여넣기 기능의 역할을 식별한다.
• 학생 능력 및 사전 지식에 따른 이질성을 평가한다.
• LLM 사용하에서 발생하는 인지된 학습 진행과 실제 학습 진행을 비교한다.
• 학습 지원으로서 LLM을 활용하는 정책 관련 지침을 제시하고 단점을 완화한다.

제안 방법

• 관찰적 현장 데이터와 두 번의 인센티브가 제공되고 사전 등록된 실험실 실험을 결합한 세 연구 설계.
• 두 개의 대학 프로그래밍 과목을 사용한 현장 데이터 분석과 양방향 고정효과 모델 및 도구변수를 이용한다.
• 학생 코드와 ChatGPT가 생성한 코드 간의 유사성으로 LLM 사용을 측정하는 것을 대리 변수로 사용한다.
• LLM 접근과 복사-붙여넣기 기능의 실험적 조작으로 인과 효과와 메커니즘을 테스트한다.
• 사전 등록과 Outages 기반 IV를 사용하여 LLM 사용의 외생적 변동을 식별한다.
• 표준화된 사전, 학습, 사후 테스트를 갖춘 Python 프로그래밍 과제를 사용하여 학습 진행을 측정한다.

실험 결과

연구 질문

• RQ1 LLM에의 접근이 튜터나 설명자로 사용할 때 코딩 학습 결과를 향상시키는가?
• RQ2 해결 추구를 촉진하는 LLM 사용이 이후 학습을 저해하는가?
• RQ3 사전 코딩 지식은 LLM 사용 효과와 어떻게 상호작용하는가?
• RQ4 학생들은 LLM을 사용할 때 학습 진행을 얼마나 과대평가하는가?

주요 결과

• LLM이 생성한 설명은 학습을 향상시키는 반면 LLM을 사용해 문제를 해결하는 것은 이후 학습을 해칠 수 있다.
• 현장 데이터에서 현 질문에 대한 ChatGPT 솔루션은 성적을 올리지만, 누적된 ChatGPT 유사성은 이후 성과에 부정적 영향을 준다.
• 도구변수 분석은 누적 ChatGPT 사용이 학습에 부정적 영향을 확인하며 과다 의존에 대한 강한 부정적 학습 효과를 시사한다.
• 약한 학생이 LLM 접근으로부터 더 많은 이점을 얻는다고 하여 이전 능력 이질성 연구와 일치한다.
• 참여자들은 실제 진행보다 더 높은 인지적 학습 진행을 보고하여 LLM 보조 학습에 대한 과신을 나타낸다.
• 연구 3(전부는 제시되지 않음)은 추가로 메커니즘을 고립시키고 적절히 사용될 때 LLM이 효과적인 학습 보조 수단이 될 가능성을 뒷받침한다.