[論文レビュー] Results and Insights from Diagnostic Questions: The NeurIPS 2020 Education Challenge

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Apr 8, 2021

Glioma Diagnosis and Treatment被引用数 4

ひとこと要約

本論文は、NeurIPS 2020 Education Challengeを提示し、4億以上の学生が回答した複数選択式の診断問題の実世界の大規模データセットを紹介する。教師なしおよびアクティブラーニング手法を用いて、スケーラブルでデータ駆動型のパーソナライズを実現するための4つのデータマイニングタスク—回答予測、行列補完、問題の質評価、パーソナライズド問題選択—を提案する。

ABSTRACT

This competition concerns educational diagnostic questions, which are pedagogically effective, multiple-choice questions (MCQs) whose distractors embody misconceptions. With a large and ever-increasing number of such questions, it becomes overwhelming for teachers to know which questions are the best ones to use for their students. We thus seek to answer the following question: how can we use data on hundreds of millions of answers to MCQs to drive automatic personalized learning in large-scale learning scenarios where manual personalization is infeasible? Success in using MCQ data at scale helps build more intelligent, personalized learning platforms that ultimately improve the quality of education en masse. To this end, we introduce a new, large-scale, real-world dataset and formulate 4 data mining tasks on MCQs that mimic real learning scenarios and target various aspects of the above question in a competition setting at NeurIPS 2020. We report on our NeurIPS competition in which nearly 400 teams submitted approximately 4000 submissions, with encouragingly diverse and effective approaches to each of our tasks.

研究の動機と目的

• 実世界の学生の回答データを活用して、質問選択の自動化と学習成果の向上を図ることで、スケーラブルなパーソナライズド教育の課題に取り組む。
• 大規模なオンライン学習プラットフォームにおける手動パーソナライズの限界を乗り越え、機械学習を用いてコンテンツを個々の学生のニーズに適合させる。
• 特にスパースでカテゴリカルかつ動的な学習環境において、教育データマイニングのための新規な機械学習手法を開発・評価する。
• 学生、問題、回答パターンに関する豊富なメタデータを備えた公開可能な大規模データセットを提供することで、教育分野におけるAIの最先端技術を前進させる。
• メタデータ（例：スキル、デモグラフィック情報、タイムスタンプ）およびマルチモーダルデータ（例：問題の画像）を統合し、モデリング性能と教育的インサイトを向上させる。

提案手法

• Eediプラットフォームから得た、診断用複数選択式問題に対する4億以上の学生の回答を含む、豊富なメタデータ（スキル、タイムスタンプ、問題の画像など）を備えた大規模で実世界のデータセットを収集した。
• 4つの明確に区別されたタスクを定式化した：(1) スパースな学生－問題－回答データに対する行列補完を用いた回答予測；(2) カテゴリカルで順序のないデータに対する行列補完；(3) 応答パターンを用いた自動的問題の質評価；(4) アクティブラーニングとランク付けを用いたパーソナライズド問題選択。
• 特に低データ環境において顕著なスパarsityと動的性を扱うために、教師なしおよび自己教師あり学習技術を適用した。
• 学生および問題のメタデータ（例：デモグラフィック情報、スキルタグ、タイムスタンプ）を統合し、各タスクにおける予測およびランク付け性能を向上させた。
• 問題の画像とテキストからのマルチモーダル特徴を用いて、クロスマodal学習を支援し、診断用問題のモデリングを改善した。
• 予測精度、AUC、ランク付け品質といった実世界のパフォーマンス指標を用いて、多様で非一様なデータ分布上でのソリューションの評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 スパースで実世界のデータを用いて、診断用複数選択式問題に対する学生の回答を正確に予測するにはどうすればよいか？
• RQ2 教育現場において、順序のないカテゴリカルな応答データに対して、効果的な行列補完を実現する技術は何か？
• RQ3 学生の応答パターンや誤解に基づいて、診断用問題の質を自動的に評価するにはどうすればよいか？
• RQ4 学習効率と予測精度を最大化するパーソナライズドで適応的な問題選択を実現する戦略は何か？
• RQ5 メタデータ（例：スキル、デモグラフィック情報、タイムスタンプ）およびマルチモーダルデータ（例：画像、テキスト）を統合することで、教育モデリングとパーソナライズをどのように向上させられるか？

主な発見

• NeurIPS 2020コンペティションには約400チームが参加し、合計で約4,000件のソリューションが提出され、AI駆動の教育パーソナライズへの世界的な関心の高さがうかがえる。
• 回答予測の上位ソリューションは、高いAUCスコアを達成しており、スパースな応答データから学生の知識状態を的確にモデリングできていることを示している。
• このデータセットにより、問題の質評価のための新規な手法が可能となり、トップモデルは応答パターンの整合性と誤解の一致に基づいて高品質な診断用問題を同定した。
• パーソナライズド問題選択モデルは、ランダムおよびヒューリスティックなベースラインを上回り、大規模プラットフォームにおける適応型テストや効率的評価の可能性を示した。
• メタデータおよびマルチモーダル特徴（例：問題の画像とテキスト）の統合により、行列補完および予測タスクのパフォーマンスが顕著に向上した。
• コンペティションの結果から、アクティブラーニングおよび不確実性に基づくサンプリング戦略が、正確な予測に必要な応答回数を削減する上で有効であることが明らかになった。