[논문 리뷰] Improved Performances and Motivation in Intelligent Tutoring Systems: Combining Machine Learning and Learner Choice

Benjamin Clément, Hélène Sauzeon외 2명|arXiv (Cornell University)|2024. 01. 16.

Online Learning and Analytics인용 수 2

한 줄 요약

이 연구는 지능형 튜터링 시스템에서 연습 순서를 최적화하기 위해 기계 학습(멀티어머드 밴딧)과 호기심 기반 학습을 융합한 AI 기반의 적응형 학습 시스템 ZPDES를 제시한다. 학습자의 선택을 게임화 기능으로 통합함으로써 내재 동기가 크게 향상되고 학습 성취도가 향상되지만, 이는 고정된 교육 곡선과는 달리 적응형 개인화와 결합되었을 때만 성립한다.

ABSTRACT

Large class sizes challenge personalized learning in schools, prompting the use of educational technologies such as intelligent tutoring systems. To address this, we present an AI-driven personalization system, called ZPDES, based on the Learning Progress Hypothesis - modeling curiosity-driven learning - and multi-armed bandit techniques. It sequences exercises that maximize learning progress for each student. While previous studies demonstrated its efficacy in enhancing learning compared to hand-made curricula, its impact on student motivation remained unexplored. Furthermore, ZPDES previously lacked features allowing student choice, a limitation in agency that conflicts with its foundation on models of curiosity-driven learning. This study investigates how integrating choice, as a gamification element unrelated to exercise difficulty, affects both learning outcomes and motivation. We conducted an extensive field study (265 7-8 years old children, RCT design), comparing ZPDES with and without choice against a hand-designed curriculum. Results show that ZPDES improves both learning performance and the learning experience. Moreover adding choice to ZPDES enhances intrinsic motivation and further strengthens its learning benefits. In contrast, incorporating choice into a fixed, linear curriculum negatively impacts learning outcomes. These findings highlight that the intrinsic motivation elicited by choice (gamification) is beneficial only when paired with an adaptive personalized learning system. This insight is critical as gamified features become increasingly prevalent in educational technologies.

연구 동기 및 목표

• 지능형 튜터링 시스템에서 게임화 기능으로서의 학습자 선택이 학습 성과와 동기에 어떤 영향을 미치는지 조사하는 것.
• 선택의 이점이 기반 학습 시스템의 적응성에 따라 달라지는지 평가하는 것, 특히 고정된 선형 교육 곡선과의 비교를 통해.
• 학습 진전 가설과 멀티어머드 밴딧 알고리즘에 기반한 ZPDES가 학생의 학습 결과와 내재 동기에 미치는 영향을 평가하는 것.
• 비적응형, 수작업으로 설계된 교육 곡선에 적용되었을 때 학습자 선택이 학습에 도움이 되는지 아니면 해로운지 판단하는 것.
• 교육 AI 시스템에서 내재 동기(선택을 통한)와 적응형 개인화 간의 상호보완적 효과에 대한 실증적 증거를 제공하는 것.

제안 방법

• ZPDES는 학습 진전 가설에 기반해 예상 학습 진전을 최대화하는 데 목적이 있는 멀티어머드 밴딧 알고리즘을 사용하여 연습 문제를 동적으로 선택한다.
• 시스템은 학습자의 지식 수준과 호기심 기반의 진행 방식을 모델링하며, 근접 발달 영역 내의 과제를 선택하여 참여도와 학습 효율성을 유지한다.
• 학습자 선택은 과제의 난이도와 무관한 게임화 기능으로 구현되며, 이용 가능한 과제 중에서 선택할 수 있도록 한다.
• 265명의 어린이(7–8세)를 대상으로 한 무작위 대조 시험(RCT)에서 네 가지 조건을 비교: 수작업으로 설계된 선형 교육 곡선, ZPDES에 선택 기능 없음, ZPDES에 선택 기능 있음, 대조군.
• 학습 성과는 금전 조작 및 계산 능력에 대한 사전·사후 테스트를 통해 측정되었다.
• 동기는 유형 동기 질문지(TM)와 학교 프로필 질문지(SP)를 사용하여 내재 동기와 자율성 확보 정도를 중심으로 평가되었다.

실험 결과

연구 질문

• RQ1 ZPDES와 같은 적응형 AI 기반 지능형 튜터링 시스템에 학습자 선택 기능을 통합함으로써, 선택 기능이 없는 ZPDES 대비 학습 성과와 내재 동기 향상에 기여하는가?
• RQ2 고정된 수작업 선형 교육 곡선에 학습자 선택 기능을 추가하면 학습 결과와 동기에 어떤 영향을 미치는가?
• RQ3 선택 기능이 동기와 학습에 미치는 긍정적 영향이 학습 시스템 내 적응형 개인화의 존재 여부에 의존하는가?
• RQ4 ZPDES는 수작업으로 설계된 교육 곡선보다 학습 성취도 향상과 학생 참여도 향상 측면에서 뛰어난가?
• RQ5 학습자 선택이 적응형 학습과 내재 동기 간의 관계를 어느 정도 조절하는가?

주요 결과

• ZPDES는 수작업으로 설계된 교육 곡선에 비해 금전 조작 및 계산 능력 향상 측면에서 유의미한 학습 성과 향상을 보였으며, 효과 크기 측정치는 큰 성취를 나타냈다.
• ZPDES에 학습자 선택 기능을 추가한 결과, 내재 동기 측정치(TM)에서 유의미한 증가가 관찰되었으며, 유의수준 p < .05였다.
• ZPDES와 학습자 선택의 조합은 가장 높은 학습 성취도를 기록하여, 적응형 개인화와 선택 간의 상호보완적 효과를 시사했다.
• 반대로, 고정된 선형 교육 곡선에 선택 기능을 추가한 경우 학습 성과에 부정적인 영향을 미쳤으며, 이는 적응형 학습이 없는 상황에서의 선택 기능이 학습을 방해할 수 있음을 시사한다.
• 성별, 기술 경험, 자율 선택 정도 등 인구통계학적 특성이나 기초 수준에서 조건 간 유의미한 차이가 없었으며, 이는 RCT 설계의 타당성을 뒷받침한다.
• 이 연구는 게임화 기능인 선택 기능이 이미 개인화되고 호기심 기반의 학습을 지원하는 시스템 내에서 통합되었을 때 가장 효과적임을 확인한다.