[論文レビュー] Diagnostic Questions: The NeurIPS 2020 Education Challenge.

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Bandit Algorithms Research参考文献 8被引用数 28

ひとこと要約

本論文は、Eediプラットフォームの2000万件を超える学生の回答記録を活用して、診断用数学問題に対する学生の回答を予測し、問題の質を評価し、個別化された問題の順序を生成するモデルの開発を目的とした、NeurIPS 2020 Education Challengeを提示する。本研究は、選択肢の回答から明らかになる誤解を分析することにより、自動的かつデータ駆動型の学習カリキュラムの個別化を可能にする。

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

研究の動機と目的

• 大規模な相互作用データを用いて、複数選択式の診断用問題に対する学生の回答を予測すること。
• 学生の回答パターンに基づいて、診断用問題の質を評価すること。
• 個々の学生の回答を最もよく予測できるように、最適な順序で問題を提示する個人化された問題のシーケンスを生成すること。
• スケーラブルな、自動化された適応型学習システムの開発を支援すること。
• 世界規模での高品質で個別化された数学教育へのアクセス向上に実際の影響を与えること。

提案手法

• Eediという世界的な教育プラットフォームから得た2000万件を超える学生の回答記録のデータセットを活用する。
• 機械学習技術を用いて学生の回答をモデル化し、誤解や知識状態を推定する。
• 予測モデリングを適用して、各問題について学生がどの選択肢を選ぶかを予測する。
• 回答のパターンを用いて、特定の誤解を明らかにできる能力など、問題の診断的質を評価する。
• 順序付きモデリングを用いて、予測された回答行動に基づき、個々の学生に最適な、個人化された問題の順序を生成する。
• すべてのコンponentsを統合したフレームワークを構築し、実際の教育プラットフォームのワークフローを模倣する。

実験結果

リサーチクエスチョン

• RQ1 大規模な相互作用データを用いた場合、モデルは診断用数学問題に対する学生の回答をどの程度正確に予測できるか？
• RQ2 学生の回答パターンから、高品質な診断用問題を特定するためにどの特徴が利用可能か？
• RQ3 個々の学生の回答を最もよく予測できるように、どのようにして個人化された問題のシーケンスを生成できるか？
• RQ4 自動化されたシステムは、人間のチューターの診断的および適応的機能をどの程度再現できるか？
• RQ5 スケーラブルな機械学習モデルは、世界規模での個別化学習を効果的に支援できるか？

主な発見

• 2000万件を超える学生の回答記録のデータセットにより、選択肢の回答パターンを用いて学生の誤解をしっかりモデル化できる。
• 相互作用データを用いた予測モデルは、複数選択式の診断用問題に対する学生の回答を正確に予測できる。
• 回答分布に現れる一貫性と診断的価値に基づいて、問題の質を評価できる。
• 個別化された問題のシーケンスを生成することで、学生の回答の予測精度を向上させることができる。
• フレームワークは、適応型学習プラットフォームへの実際の展開において強く有望な可能性を示している。
• コンペティションのフレームワークは、世界中の学習者に向けたスケーラブルでデータ駆動型の数学教育の個別化を支援する。