[논문 리뷰] Adaptive and Personalized Exercise Generation for Online Language Learning

Peng Cui, Mrinmaya Sachan|arXiv (Cornell University)|2023. 06. 04.

Online Learning and Analytics인용 수 2

한 줄 요약

이 논문은 사전에 학습된 언어 모델을 사용하여 지식 추적(KT)과 제어 가능한 텍스트 생성을 융합한 하이브리드 모델을 제안한다. 이는 온라인 어학 학습을 위한 적응형이고 개인화된 연습 문제를 생성한다. 학생들의 지속적인 지식 상태를 추정하고 원하는 난이도 및 어휘 수준에 기반해 맞춤형 연습 문제를 생성함으로써, 시뮬레이션 연구에서 기준 모델들을 능가하며 더 빠른 지식 습득과 향상된 학습 효율성을 보여주며, 동적으로 개인화된 문제 순서를 제공한다.

ABSTRACT

Adaptive learning aims to provide customized educational activities (e.g., exercises) to address individual learning needs. However, manual construction and delivery of such activities is a laborious process. Thus, in this paper, we study a novel task of adaptive and personalized exercise generation for online language learning. To this end, we combine a knowledge tracing model that estimates each student's evolving knowledge states from their learning history and a controlled text generation model that generates exercise sentences based on the student's current estimated knowledge state and instructor requirements of desired properties (e.g., domain knowledge and difficulty). We train and evaluate our model on real-world learner interaction data from Duolingo and demonstrate that LMs guided by student states can generate superior exercises. Then, we discuss the potential use of our model in educational applications using various simulations. These simulations show that our model can adapt to students' individual abilities and can facilitate their learning efficiency by personalizing learning sequences.

연구 동기 및 목표

• 온라인 어학 학습 플랫폼에서 수동으로 맞춤형이고 적응형 연습 문제를 생성하는 데 도전하는 데에 대비하기 위해.
• 학생의 지식 상태와 강사가 정의한 속성(예: 난이도, 어휘 수준)에 따라 동적으로 맞춤형 연습 문제를 생성할 수 있는 시스템을 개발하기 위해.
• 학생의 지식 상태에 기반해 안내되는 언어 모델이 정적 또는 템플릿 기반 방법보다 더 높은 품질의 효과적인 연습 문제를 생성할 수 있는지 평가하기 위해.
• 모델이 개인화된 문제 순서를 통해 학습 효율을 향상시킬 수 있는지 시뮬레이션하고 이를 입증하기 위해.

제안 방법

• 모델은 학습력 기록에서 어휘와 기술에 대한 학생의 지속적인 숙달도를 추정하기 위해 지식 추적(KT) 구성요소, 특히 DKT를 사용한다.
• 사전에 학습된 언어 모델을 미세조정하여, 학생의 현재 추정 지식 상태와 강사가 지정한 속성(예: 목표 어휘, 난이도 수준)에 따라 번역 기반 연습 문제를 생성한다.
• 난이도는 학생의 예측 성능 함수로 모델링되며, 예상 오류 수(예: 0.3에서 0.7)를 통해 난이도를 제어한다.
• 시스템은 두 단계 과정을 사용한다: 첫째, KT는 과거 상호작용에서 학생의 지식 상태를 추론한다; 둘째, 언어 모델은 그 지식 상태와 원하는 속성에 기반해 새로운 연습 문제를 생성한다.
• 모델은 제어 코드를 통해 개인화된 생성과 함께 지식 습득을 최적화하는 전략(예: EXPECTIMAX-GEN)을 지원하는 적응형 선택 전략도 구현한다.
• 실제 Duolingo 상호작용 데이터를 사용해 시뮬레이션을 수행하여, 모델이 지식 성장과 학습 효율성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 학생의 실시간 지식 상태에 기반해 안내되는 언어 모델이 정적 또는 템플릿 기반 방법보다 더 효과적이고 개인화된 연습 문제를 생성할 수 있는가?
• RQ2 지식 추적과 제어 가능한 텍스트 생성을 통합함으로써 연습 문제의 품질과 학습 결과는 어떻게 향상되는가?
• RQ3 모델은 학생들의 지식 수준에 얼마나 잘 적응하고, 더 빠른 학습을 위해 문제 순서를 얼마나 효과적으로 최적화할 수 있는가?
• RQ4 고정된 풀에서 선택하는 것과는 달리, 새로운, 아직 본 적이 없는 문제를 생성함으로써 지식 습득이 더 잘 이루어지는가?

주요 결과

• 특히 EXPECTIMAX-GEN 전략 하에서 제안된 모델이 생성한 연습 문제들은 랜덤 선택 및 풀 기반 EXPECTIMAX와 비교해 유의미하게 더 빠른 지식 성장을 이끌었다.
• 유사한 연습 기회 수에서 모델이 생성한 문제들은 더 높은 지식 상태 향상을 달성하여 뛰어난 학습 효율성을 입증했다.
• EXPECTIMAX-GEN가 생성한 문제 약 70%는 훈련 코퍼스에서 본 적이 없었으며, 이는 효과적인 신선도와 개인화를 의미한다.
• 고정된 난이도 전략과 풀 제한 전략보다 모델이 뛰어난 성능을 보였으며, 이는 동적이고 지식 기반의 생성이 정적 또는 제약 있는 선택보다 더 효과적임을 보여준다.
• 시뮬레이션 결과, 모델이 개인의 학습 진도에 적응하고 최적의 난이도 수준을 유지함으로써 '선호되는 난이도' 원칙(d ≈ 0.5)과 일치함을 확인했다.
• DKT와 제어 가능한 생성의 통합은 개인화와 적응성 모두 향상시켰으며, 모델은 어휘 커버리지와 난이도 타겟팅을 효과적으로 균형 잡았다.