[논문 리뷰] Diagnostic Questions: The NeurIPS 2020 Education Challenge.

Zichao Wang, Angus Lamb외 10명|arXiv (Cornell University)|2020. 07. 23.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 28

한 줄 요약

이 논문은 Eedi 플랫폼에서 확보한 2000만 건이 넘는 학생 응답 기록을 활용하여, 진단 수학 문제에 대한 학생 응답을 예측하고, 문제 품질을 평가하며, 개인화된 질문 순서를 생성하는 모델을 개발한 NeurIPS 2020 교육 챌린지에 대해 서술한다. 본 연구는 다중 선택 응답을 통해 드러나는 오개념을 분석함으로써 자동화되고 데이터 기반인 학습 교육과정의 개인화를 가능하게 한다.

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

연구 동기 및 목표

• 대규모 상호작용 데이터를 활용하여 다중 선택 진단 문제에 대한 학생 응답을 예측하기 위해.
• 학생 응답 패턴을 바탕으로 진단 문제의 품질을 평가하기 위해.
• 개별 학생의 응답을 가장 잘 예측할 수 있는 개인화된 질문 순서를 생성하기 위해.
• 스케일업 가능한 개인화된 교육을 위한 자동화되고 적응형 학습 시스템의 개발을 지원하기 위해.
• 글로벌 수준에서 고품질의 개인화된 수학 교육에 대한 실제 영향을 미칠 수 있도록 하기 위해.

제안 방법

• Eedi라는 글로벌 교육 플랫폼에서 확보한 2000만 건이 넘는 학생 응답 기록 데이터셋을 활용한다.
• 기계 학습 기법을 사용하여 학생의 응답을 모델링함으로써 오개념과 지식 상태를 추론한다.
• 예측 모델링을 적용하여 각 질문에 대해 학생이 어떤 선택지를 고를지를 예측한다.
• 응답 패턴을 활용하여 문제의 진단적 품질을 평가하며, 특정 오개념을 드러내는 능력을 포함한다.
• 순차적 모델링을 활용하여 예측된 응답 행동을 바탕으로 각 학생의 최적의 개인화된 질문 순서를 생성한다.
• 모든 구성 요소를 통합된 프레임워크로 통합하여 실제 교육 플랫폼의 워크플로우를 모방한다.

실험 결과

연구 질문

• RQ1 대규모 상호작용 데이터를 활용하여 다중 선택 진단 수학 문제에 대한 학생 응답을 얼마나 정확하게 예측할 수 있는가?
• RQ2 학생 응답 패턴의 어떤 특징을 활용하면 고품질의 진단 문제를 식별할 수 있는가?
• RQ3 개별 학생의 응답을 가장 잘 예측할 수 있도록 개인화된 질문 순서를 어떻게 생성할 수 있는가?
• RQ4 자동화된 시스템이 인간 튜터의 진단 및 적응형 능력을 어느 정도 재현할 수 있는가?
• RQ5 확장 가능한 기계 학습 모델이 글로벌 스케일에서 개인화된 학습을 효과적으로 지원할 수 있는가?

주요 결과

• 2000만 건이 넘는 학생 응답 데이터셋을 통해 다중 선택 응답 패턴을 분석하여 학생의 오개념을 강력하게 모델링할 수 있다.
• 상호작용 데이터를 활용하여 다중 선택 진단 문제에 대한 학생 응답을 정확하게 예측할 수 있는 예측 모델이 존재한다.
• 학생 응답 분포에서 드러나는 일관성과 진단적 가치를 바탕으로 문제의 품질을 평가할 수 있다.
• 개별 학생의 응답 예측 정확도를 향상시키기 위해 개인화된 질문 순서를 생성할 수 있다.
• 프레임워크는 적응형 학습 플랫폼에서의 실질적 구현 가능성을 잘 보여준다.
• 경쟁 프레임워크는 글로벌 학습자 대상으로 스케일업 가능한 데이터 기반의 수학 교육 개인화를 지원한다.