[論文レビュー] GritNet 2: Real-Time Student Performance Prediction with Domain Adaptation.

Byung‐Hak Kim, Ethan Vizitei+1 more|arXiv (Cornell University)|Sep 7, 2018

Online Learning and Analytics参考文献 12被引用数 7

ひとこと要約

本論文は、ラベル付きの過去のコースから新しいラベルなしのコースへ知識を転移するための教師なしドメイン適応を用いた、リアルタイムな学生の学習パフォーマンス予測モデルGritNet 2を提案する。この手法は、ターゲットコースでの学生の成績ラベルを必要とせず、事前に訓練されたGritNetモデルを適応させることで、最初の数週間における早期予測の正確性を向上させ、さまざまなナノディグリー・プログラム間で優れた一般化性能を達成する。

ABSTRACT

Increasingly fast development and update cycle of online course contents, and diverse demographics of students in each online classroom, make student performance prediction in real-time (before the course finishes) an interesting topic for both industrial research and practical needs. In that, we tackle the problem of real-time student performance prediction with on-going courses in domain adaptation framework, which is a system trained on students' labeled outcome from one previous coursework but is meant to be deployed on another. In particular, we first review recently-developed GritNet architecture which is the current state of the art for student performance prediction problem, and introduce a new unsupervised domain adaptation method to transfer a GritNet trained on a past course to a new course without any (students' outcome) label. Our results for real Udacity students' graduation predictions show that the GritNet not only generalizes well from one course to another across different Nanodegree programs, but enhances real-time predictions explicitly in the first few weeks when accurate predictions are most challenging.

研究の動機と目的

• 急速に変化するコンテンツと多様な学生のデモグラフィックスを有するオンラインコースにおいて、リアルタイムな学生の学習パフォーマンス予測の課題に対処すること。
• ラベル付きの成績データを持つ過去のコースから、成績ラベルが一切ない新しいコースへ、学生の学習パフォーマンス予測モデルを効果的に転送できることを実現すること。
• データが限られている最初の数週間において、予測が特に困難な時期に、予測の正確性を向上させること。

提案手法

• ドメイン適応フレームワークを用いて、最新のGritNetアーキテクチャをリアルタイムな学生の学習パフォーマンス予測に適応させる。
• ターゲットドメイン（新しいコース）でのラベルを使用せずに、ソース（過去のコース）とターゲット（新しいコース）の特徴分布を一致させる教師なしドメイン適応手法を適用する。
• ドメイン不変表現を用いて、ソースコースのラベル付きデータで事前学習したGritNetモデルを、ターゲットコースに転移する前に微調整する。
• 時間的ダイナミクスと初期の学生行動パターンを活用して、コースの最初の数週間におけるリアルタイム予測を強化する。
• ソースドメインとターゲットドメインの特徴間の乖離を最小化すると同時に、予測性能を保持するためのドメイン適応損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの新しいコースに対して、成績ラベルが一切ない状態で、1つのコースで訓練された学生の学習パフォーマンス予測モデルが、効果的に一般化できるか？
• RQ2 GritNet 2は、データが限られているコースの最初の数週間において、リアルタイム予測でどの程度の性能を示すか？
• RQ3 異なるナノディグリー・プログラム間での転移において、教師なしドメイン適応が予測の正確性をどの程度向上させるか？

主な発見

• GritNet 2は、さまざまなナノディグリー・プログラム間で良好に一般化され、ソースからターゲットコースへの高い転送性を示している。
• モデルは、予測が特に困難な最初の数週間において、リアルタイム予測を著しく向上させている。
• 教師なしドメイン適応アプローチにより、ターゲットコースでの成績ラベルが一切不要な状態でも、効果的な知識の転送が可能である。
• 異なるコースの内容や学生のデモグラフィックスに起因するドメインシフトに対しても、モデルは高い予測性能を維持している。