[論文レビュー] Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems

Youngduck Choi, Youngnam Lee+10 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 34被引用数 11

ひとこと要約

本稿では、教育的関連のある学生のインタラクション特徴（正答率や応答の迅速性など）を、双方向トランスフォーマーエンコーダーを用いて予測する、インタラクティブ教育システム向けの新規事前学習フレームワーク「Assessment Modeling」を紹介する。インタラクション系列からこれらの評価項目をマスキングして予測することで、試験得点やレビュー正答率予測といったラベルが乏しいタスクにおける下流性能が顕著に向上し、コンテンツベースの事前学習を最大21.96%のMAE低減率で上回る。

ABSTRACT

Like many other domains in Artificial Intelligence (AI), there are specific tasks in the field of AI in Education (AIEd) for which labels are scarce and expensive, such as predicting exam score or review correctness. A common way of circumventing label-scarce problems is pre-training a model to learn representations of the contents of learning items. However, such methods fail to utilize the full range of student interaction data available and do not model student learning behavior. To this end, we propose Assessment Modeling, a class of fundamental pre-training tasks for general interactive educational systems. An assessment is a feature of student-system interactions which can serve as a pedagogical evaluation. Examples include the correctness and timeliness of a student's answer. Assessment Modeling is the prediction of assessments conditioned on the surrounding context of interactions. Although it is natural to pre-train on interactive features available in large amounts, limiting the prediction targets to assessments focuses the tasks' relevance to the label-scarce educational problems and reduces less-relevant noise. While the effectiveness of different combinations of assessments is open for exploration, we suggest Assessment Modeling as a first-order guiding principle for selecting proper pre-training tasks for label-scarce educational problems.

研究の動機と目的

• 教育AIにおけるラベル不足の課題に対処すること。特に、試験得点やレビュー正答率といった重要なアウトカムは収集にコストがかかる。
• 豊富な学生インタラクションデータを活用して、下流の教育予測タスクの性能を向上させる事前学習手法を開発すること。
• Assessment Modelingを、静的コンテンツ特徴を超えた学生学習行動をモデル化する基本的タスクとして提案すること。
• インタラクションに基づく事前学習がコンテンツのみの事前学習よりも優れた性能を示すことを実証的に検証すること。

提案手法

• 本手法は、演習ID、分類、正答性、応答時間などの特徴を含む、学生のインタラクション系列をモデル化するための深層双方向トランスフォーマーエンコーダーを用いる。
• 事前学習段階では、評価特徴（例：正答性、迅速性）のランダムなサブセットをマスキングし、周囲の文脈に基づいて予測する。
• マスキング方式はBERTのマスクド言語モデルにインspiredされているが、非対称性を導入している：予測対象の特徴はマスキングされた特徴の部分集合であり、それら自体が各タイムステップで利用可能な特徴の部分集合である可能性がある。
• 事前学習後、下流タスク（例：試験得点予測、レビュー正答率予測）向けにタスク固有のヘッドに最終層を置き換える。
• モデル全体をターゲットタスクのラベル付きデータで微調整することで、事前学習段階で学習した豊かな表現を活用する。
• 本手法は、Santaモバイル学習アプリから得られた1億3100万件の学生応答を含む大規模データセットEdNet上で評価された。

実験結果

リサーチクエスチョン

• RQ1 学生インタラクションの評価特徴を用いた事前学習は、ラベルが乏しい教育予測タスクの性能向上に寄与するか？
• RQ2 Word2Vec、BERT、QuesNetといったコンテンツベースの事前学習手法と比較して、Assessment Modelingは下流タスク性能でどのように差をつけるか？
• RQ3 正答性＋迅速性といった異なる組み合わせの評価特徴を事前学習目的に含めることの影響は何か？
• RQ4 なぜ一部の評価組み合わせは直感的であるにもかかわらず、逆に性能を低下させることがあるのか（例：迅速性が正答率予測で性能を低下）？

主な発見

• Assessment Modelingは、事前学習なしのモデルと比較して、試験得点予測の平均絶対誤差（MAE）を21.96%低減した。
• レビュー正答率予測のAUCは、事前学習なしのベースラインモデルと比較して6.99%向上した。
• 最先端のコンテンツベース事前学習手法（例：Word2Vec, BERT, QuesNet）と比較して、同じタスクでMAEは13.34%、AUCは4.26%改善した。
• 本手法は、BERT や QuesNet を含むすべてのベースラインモデルを、評価されたすべての下流タスクで上回った。
• 事前学習の目的に迅速性を含めることで、試験得点予測のMAEが2.77%上昇し、直感に反する結果となった。これはタスク設計の複雑さを示している。
• 結果から、コンテンツではなく評価に焦点を当てた事前学習が、ラベルが乏しい教育AIタスクにおいてより効果的な表現を生成することを示している。