[논문 리뷰] Implementing Learning Principles with a Personal AI Tutor: A Case Study

Ambroise Baillifard, Maxime Gabella외 2명|arXiv (Cornell University)|2023. 09. 10.

Online Learning and Analytics인용 수 7

한 줄 요약

이 연구는 학습 과학 원칙—개별화, 회상 연습, 분산 반복—을 GPT-3를 사용해 마이크로러닝 질문을 생성하고 신경망을 통해 개별 학생의 지식 수준을 모델링함으로써 개인화된 AI 튜터를 통해 구현한다. AI 튜터를 사용한 학생들은 대조군에 비해 시험 성적이 유의미하게 향상되었으며, 평균적으로 최대 15 백분위수 포인트 향상되었으며, 이는 시스템이 적응형이고 데이터 기반 개인화를 통해 학습을 향상시킬 수 있음을 검증한다.

ABSTRACT

Effective learning strategies based on principles like personalization, retrieval practice, and spaced repetition are often challenging to implement due to practical constraints. Here we explore the integration of AI tutors to complement learning programs in accordance with learning sciences. A semester-long study was conducted at UniDistance Suisse, where an AI tutor app was provided to psychology students taking a neuroscience course (N=51). After automatically generating microlearning questions from existing course materials using GPT-3, the AI tutor developed a dynamic neural-network model of each student's grasp of key concepts. This enabled the implementation of distributed retrieval practice, personalized to each student's individual level and abilities. The results indicate that students who actively engaged with the AI tutor achieved significantly higher grades. Moreover, active engagement led to an average improvement of up to 15 percentile points compared to a parallel course without AI tutor. Additionally, the grasp strongly correlated with the exam grade, thus validating the relevance of neural-network predictions. This research demonstrates the ability of personal AI tutors to model human learning processes and effectively enhance academic performance. By integrating AI tutors into their programs, educators can offer students personalized learning experiences grounded in the principles of learning sciences, thereby addressing the challenges associated with implementing effective learning strategies. These findings contribute to the growing body of knowledge on the transformative potential of AI in education.

연구 동기 및 목표

• 학습 과학 원칙에 기반한 AI 튜터의 통합이 고등교육에서 학업 성취도를 향상시키는지 조사하기.
• 실제 학기 동안의 강의 환경에서 AI 기반 개인화, 회상 연습, 분산 반복의 효과성을 평가하기.
• 상호작용 데이터를 바탕으로 학생의 동적 지식 수준을 예측하는 데 신경망 모델의 정확도를 검증하기.
• 온라인 원격 학습 환경에 AI 튜터를 도입하는 가능성과 영향을 탐색하기.
• AI 튜터가 대규모로 증거 기반 학습 전략을 효과적으로 구현할 수 있음을 경험적으로 입증하기.

제안 방법

• 핵심 신경과학 개념에 중점을 두고, GPT-3를 사용해 강의 자료에서 마이크로러닝 질문을 생성하였다.
• 응답 패턴을 바탕으로 각 학생의 강의 내용에 대한 지속적인 이해도를 예측하기 위해 동적 신경망 모델을 훈련시켰다.
• 예측된 망각 곡선을 바탕으로 최적의 간격으로 질문을 스케줄링함으로써 적응형 회상 연습을 구현하였다.
• 개별 학생의 성과와 예측된 지식 수준에 따라 질문의 난이도와 시기를 조정하여 개인화된 학습 경로를 제공하였다.
• 전체 학기 동안 51명의 심리학 수강생으로부터 익명화된 사용 데이터를 수집하여 참여도와 성과를 평가하였다.
• 예측된 이해도 점수와 실제 시험 성과 간의 상관관계를 분석함으로써 모델 예측의 정확성을 검증하였다.

Figure 1: Examples of questions generated by the AI tutor app. From left to right, we see a definition, a question based on an image, and a multiple-choice question with feedback (see also Appendix A for questions in English). On the right we see the “learnet,” a visual organization of all key conce

실험 결과

연구 질문

• RQ1 개별 AI 튜터와의 능동적 상호작용은 대조군에 비해 시험 성적이 유의미하게 높아지는가?
• RQ2 AI 튜터의 신경망 모델이 학생의 지식 수준을 얼마나 정확히 예측하는가?
• RQ3 AI 튜터를 통한 분산 반복과 회상 연습의 통합이 학습 성과에 어떤 영향을 미치는가?
• RQ4 학생의 AI 튜터 참여도와 시험 성적의 백분위수 향상 간의 관계는 어떠한가?
• RQ5 기계 학습 기반 AI 튜터는 실제 교육적 맥락에서 인간과 유사한 학습 과정을 효과적으로 시뮬레이션할 수 있는가?

주요 결과

• AI 튜터를 능동적으로 사용한 학생들은 AI 튜터가 없는 동일한 과정을 수강한 학생들에 비해 시험 성적이 유의미하게 높았다.
• AI 튜터와의 능동적 상호작용은 시험 성적에서 평균적으로 최대 15 백분위수 포인트 향상시켰다.
• 신경망이 예측한 학생 지식 이해도는 실제 시험 성과와 강한 상관관계를 보였으며, 이는 그 예측 정확도를 검증한다.
• AI 튜터는 개인의 학습 곡선을 기반으로 동적으로 질문을 스케줄링함으로써 분산 반복과 회상 연습을 성공적으로 구현하였다.
• 앱에서의 상호작용을 중단한 학생들은 성적이 감소하는 경향을 보였으며, 이는 지속적인 상호작용이 효과를 얻는 데 필수적임을 시사한다.
• 본 연구는 AI 튜터가 실제 교육 환경에서 핵심 학습 과학 원칙을 효과적으로 구현할 수 있음을 보여준다.

Figure 2: Left-hand side : Distribution of students ( $N=51$ ) categorized as active or inactive according to the minimum number of answers provided on the app. Right-hand side : Average grades for active and inactive students, as distinguished by a minimum number of answers given on the app. The ef