[논문 리뷰] Instructions and Guide for Diagnostic Questions: The NeurIPS 2020 Education Challenge

Zichao Wang, Angus Lamb외 10명|arXiv (Cornell University)|2020. 07. 23.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 12

한 줄 요약

이 논문은 수학 교육에서 진단 질문을 통해 개인 맞춤 학습을 향상시키는 데 초점을 맞춘 NeurIPS 2020 교육 챌린지를 제시한다. 실제 Eedi에서 확보한 실생활 데이터를 활용해 학생의 응답을 예측하고, 답변 선택지 분석을 통해 오개념을 식별하며, 질문의 품질을 평가하고, 개인 맞춤형 질문 시퀀스를 생성하는 프레임워크를 제안한다. 이 데이터는 2000만 건이 넘는 학생 응답 기록을 포함한다. 주요 기여는 AI 기반 적응형 학습 시스템을 발전시키기 위한 종합적인 벤치마크를 제공하는 것이다.

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

연구 동기 및 목표

• 학생들이 진단 질문에 정확하게 응답할지를 예측할 수 있는 모델을 개발하는 것.
• 학생들이 선택한 특정 잘못된 답변 선택지를 예측함으로써 공통적인 오개념을 식별할 수 있도록 하는 것.
• 학생 응답 패턴과 진단 유용성 기반으로 질문의 품질을 평가하는 것.
• 개별 학생의 지식 수준과 오개념에 맞춰 개인 맞춤형 질문 시퀀스를 생성하는 것.
• 확장 가능하고 실생활 교육 플랫폼에 적합한 비지도 학습 및 활성 학습 방법을 발전시키는 것.

제안 방법

• Eedi라는 글로벌 교육 플랫폼에서 확보한 2000만 건이 넘는 학생 응답 기록을 포함한 대규모 데이터셋을 활용한다.
• 학생의 응답과 선택지를 예측하기 위해 지도 학습 및 비지도 학습 기법을 적용한다.
• 문제 품질 순위 매기기 작업(Task 3)에 대해 엔트로피 기반 및 인기 기반 베이스라인을 활용한다.
• 학생 및 질문 메타데이터를 활용해 개인 맞춤형 질문 선택을 위한 시퀀스 모델링 기법을 개발한다(작업 4).
• 재현 가능성을 확보하기 위해 표준화된 평가 프로토콜, 로컬 검증 스크립트, CodaLab 제출 워크플로우를 제공한다.
• 응답 예측 작업과 질문 품질 작업 간의 데이터 유출을 방지하고 공정한 평가를 확보하기 위해 작업 1–2와 작업 3–4에 대해 별도의 데이터 분할을 시행한다.

실험 결과

연구 질문

• RQ1 응답 패턴을 기반으로 하여 모델은 진단 수학 질문에 대해 학생의 정답 여부를 얼마나 정확하게 예측할 수 있는가?
• RQ2 잘못된 답변 선택지를 예측함으로써 모델은 특정 오개념을 얼마나 잘 식별할 수 있는가?
• RQ3 학생 성과와 무관하게 질문의 진단 품질을 가장 잘 예측하는 특징는 무엇인가?
• RQ4 예측 정확도와 학습 효율성을 극대화하기 위해 개인 맞춤형 질문 시퀀스는 어떻게 생성할 수 있는가?
• RQ5 비지도 학습 및 활성 학습 방법은 대규모로 진단 질문의 순위 매기기와 시퀀스 생성에 효과적으로 활용될 수 있는가?

주요 결과

• 대회 데이터셋은 2000만 건이 넘는 학생 응답 기록을 포함하여 진단 학습 모델의 대규모 평가를 가능하게 한다.
• 답변 선택지의 인기와 엔트로피를 활용한 베이스라인 모델이 질문 품질 순위 매기기에서 경쟁적인 성능을 보였다.
• 참가자들이 최종 CodaLab 제출 전에 모델 행동을 검증할 수 있도록 로컬 평가 스크립트를 제공한다.
• 프레임워크는 PyTorch와 NumPy 모두 구현을 지원하여 다양한 머신러닝 스택 간의 접근성을 보장한다.
• 응답 예측과 질문 품질 작업 간의 데이터 유출을 방지하기 위해 대회 설계가 데이터 분리를 강제한다.
• 제출 워크플로우가 표준화되어 있으며, 평가를 위해 명확한 파일 이름 및 구조 요구사항이 설정되어 있다.