[論文レビュー] Instructions and Guide for Diagnostic Questions: The NeurIPS 2020 Education Challenge

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Bandit Algorithms Research参考文献 12被引用数 12

ひとこと要約

本論文は、数学教育における診断的問題を活用したパーソナライズド・ラーニングの向上を目的としたNeurIPS 2020 Education Challengeを提示する。Eediの実世界のデータ（2000万件以上の学生の回答記録を含む）を用いて、学生の回答を予測し、回答選択肢の分析により誤った理解を特定し、問題の質を評価し、個別化された問題の順序を生成するフレームワークを提案する。主な貢献は、AI駆動の適応型学習システムの発展を促進する包括的なベンチマークの構築である。

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

研究の動機と目的

• 学生が診断的問題を正しく回答するかどうかを正確に予測するモデルを開発すること。
• 学生が選択する特定の誤った回答選択肢を予測することで、一般的な誤った理解を同定すること。
• 学生の回答パターンと診断的有用性に基づいて、問題の質を評価すること。
• 個々の学生の知識と誤った理解に適合した、パーソナライズドな問題の順序を生成すること。
• スケーラブルで現実世界の教育プラットフォームに適した、教師なし学習およびアクティブ・ラーニング手法の発展を促すこと。

提案手法

• Eedi（世界的な教育プラットフォーム）から得た2000万件を超える学生の回答記録を含む大規模データセットを活用する。
• 学生の回答と選択肢の予測に、教師ありおよび教師なし学習手法を適用する。
• タスク3における問題の質の順位付けに、エントロピーに基づくおよび人気度に基づくベースラインを採用する。
• タスク4におけるパーソナライズドな問題選択のためのシーケンスモデリング手法を開発し、学生および問題のメタデータを活用する。
• 再現可能性を確保するため、標準化された評価プロトコル、ローカルでの検証スクリプト、CodaLabへの提出ワークフローを提供する。
• データ漏洩を防ぎ、公平な評価を確保するため、タスク1〜2とタスク3〜4の間でデータを非重複に分割する。

実験結果

リサーチクエスチョン

• RQ1 回答パターンを用いることで、モデルは診断的数学問題における学生の正答率をどれほど正確に予測できるか？
• RQ2 誤った回答選択肢を予測することで、モデルは特定の誤った理解をどれほど正確に同定できるか？
• RQ3 学生の成績とは独立して、問題の診断的質を最もよく予測する特徴は何か？
• RQ4 予測精度と学習効率を最大化するために、どのようにしてパーソナライズドな問題の順序を生成できるか？
• RQ5 教師なし学習およびアクティブ・ラーニング手法は、スケーラブルに診断的問題を順位付け・順序付けするために効果的か？

主な発見

• コンペティションのデータセットには2000万件を超える学生の回答記録が含まれており、診断的学習モデルの大規模評価が可能である。
• 回答選択肢の人気度とエントロピーを用いたベースラインモデルは、問題の質の順位付けにおいて競争力のある性能を示した。
• ローカルでの評価スクリプトにより、参加者は最終的なCodaLab提出前にモデルの挙動を検証できる。
• フレームワークはPyTorchおよびNumPyの両方の実装をサポートしており、異なる機械学習スタックへのアクセス性を確保している。
• 回答予測と問題の質のタスクの間でデータを分離することで、データ漏洩を防止するコンペティション設計がなされている。
• 提出プロセスは標準化されており、評価用に明確なファイル名および構造要件が定められている。