[論文レビュー] EdNet: A Large-Scale Hierarchical Dataset in Education

Youngduck Choi, Youngnam Lee+8 more|arXiv (Cornell University)|Dec 6, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 27被引用数 13

ひとこと要約

EdNetは、TOEIC試験対策のためのマルチプラットフォームAIチューティングシステム「Santa」から2年間にわたり収集された、784,000人の学生が行なった多様な学習活動——問題解決、講義視聴、コース購入など——に関する1億3100万件以上のインタラクションを含む大規模で階層的な教育データセットである。その階層的構造により、知識トレーシングや学習パスの推薦といったタスクにおける多段階の抽象化が可能であり、すでに知識トレーシング、退学予測、ラベルが乏しいタスクのための事前学習において最先端のモデルを実現している。

ABSTRACT

With advances in Artificial Intelligence in Education (AIEd) and the ever-growing scale of Interactive Educational Systems (IESs), data-driven approach has become a common recipe for various tasks such as knowledge tracing and learning path recommendation. Unfortunately, collecting real students' interaction data is often challenging, which results in the lack of public large-scale benchmark dataset reflecting a wide variety of student behaviors in modern IESs. Although several datasets, such as ASSISTments, Junyi Academy, Synthetic and STATICS, are publicly available and widely used, they are not large enough to leverage the full potential of state-of-the-art data-driven models and limits the recorded behaviors to question-solving activities. To this end, we introduce EdNet, a large-scale hierarchical dataset of diverse student activities collected by Santa, a multi-platform self-study solution equipped with artificial intelligence tutoring system. EdNet contains 131,441,538 interactions from 784,309 students collected over more than 2 years, which is the largest among the ITS datasets released to the public so far. Unlike existing datasets, EdNet provides a wide variety of student actions ranging from question-solving to lecture consumption and item purchasing. Also, EdNet has a hierarchical structure where the student actions are divided into 4 different levels of abstractions. The features of EdNet are domain-agnostic, allowing EdNet to be extended to different domains easily. The dataset is publicly released under Creative Commons Attribution-NonCommercial 4.0 International license for research purposes. We plan to host challenges in multiple AIEd tasks with EdNet to provide a common ground for the fair comparison between different state of the art models and encourage the development of practical and effective methods.

研究の動機と目的

• 現代のインタラクティブ教育システム（IES）における実世界の学生行動を反映した、大規模で多様性に富み、公開可能な教育インタラクションデータセットの不足を解消すること。
• 知識トレーシング、学習パスの推薦、退学予測といった多様なタスクを支援する、包括的なAI教育（AIEd）のベンチマークを提供すること。
• スケーラブルでドメインに依存せず、階層的なデータセット構造を採用することで、最先端のデータ駆動型モデルの開発と公平な比較を可能にすること。

提案手法

• EdNetは、TOEIC試験対策のためのマルチプラットフォームAIチューティングシステム「Santa」から、細粒度の学生インタラクションログを収集している。
• データセットは4段階の抽象化レベルにわたり階層的に構造化されており、研究者が異なる粒度で学生行動をモデル化できる。
• 通常の評価ログに加え、問題解決、講義視聴、選択肢の除外、製品購入といった多様な行動を捉えている。
• 研究とベンチマークの支援を目的として、非営利目的のクリエイティブ・コモンズ・ライセンスで公開されている。
• 研究者はEdNetを用いて、SAINT（Transformerベースの知識トレーサー）やDAS（学習セッションの退学予測のためのTransformer）といったモデルの学習と評価を実施している。
• 階層的設計により、強化学習に基づく学習パスの推薦のための、さまざまな忠実度を持つシミュレータの構築が可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様性に富み、階層的な教育データセットは、教育分野におけるデータ駆動型AIモデルの性能と一般化能力をどのように向上させるか？
• RQ2 単なる正誤ラベルを超えた細粒度のインタラクションログが捉えている学生学習における重要な行動パターンは何か？
• RQ3 EdNetの階層的構造は、学生の知識状態や学習経路のモデリングをより柔軟かつスケーラブルに行うのにどのように寄与するか？
• RQ4 EdNetで事前学習することで、試験得点予測やレビュー正誤予測といったラベルが乏しい教育的タスクの性能が向上するか？
• RQ5 EdNetに基づいて構築されたシミュレータは、パーソナライズドな学習パスの推薦のための強化学習エージェントの効果的な訓練をどの程度支援できるか？

主な発見

• EdNetには、784,309人の学生が行なった1億3144万1538件のインタラクションが含まれており、現時点で公開済みのIESデータセットとして最大規模である。
• データセットには1万3169問の異なる問題と1021本の講義が記録されており、9500万件を超える問題解決のインタラクションと60万件を超える講義視聴が含まれている。
• EdNet-KT1で学習させたSAINTモデルは、AUROCの大幅な向上を達成し、知識トレーシング分野で最先端の性能を示した。
• 学習セッションの退学予測を目的としたDASモデルは、EdNet-KT4上で既存のモデルを上回り、細粒度の時間的行動モデリングの価値を示した。
• EdNet-KT4を用いた事前学習手法「Assessment Modeling」は、試験得点予測およびレビュー正誤予測において最先端の結果を達成し、NLPベースの事前学習手法を上回った。
• EdNetの階層的構造により、忠実度を変更可能なシミュレータの開発が可能となり、強化学習に基づく効率的で効果的なチューティング戦略の実現が可能になった。