[論文レビュー] Predicting Student Performance in Interactive Online Question Pools Using Mouse Interaction Features

Huan Wei, Haotian Li+3 more|arXiv (Cornell University)|Jan 9, 2020

Online Learning and Analytics参考文献 38被引用数 4

ひとこと要約

本論文では、思考時間、初回試行、ドラッグアンドドロップのパターンなどのマウス操作特徴量に加え、異種情報ネットワーク（HIN）を用いて質問間の類似性をモデル化することで、構造的でない、カリキュラムが明示されていないオンライン学習環境における学生のパフォーマンス予測のための新規手法を提案する。この手法は、複数の機械学習モデルにおいて、従来の統計的特徴量と比較して予測精度を顕著に向上させ、非構造的かつ非カリキュラム型の学習環境において、細分化された行動データの価値を示している。

ABSTRACT

Modeling student learning and further predicting the performance is a well-established task in online learning and is crucial to personalized education by recommending different learning resources to different students based on their needs. Interactive online question pools (e.g., educational game platforms), an important component of online education, have become increasingly popular in recent years. However, most existing work on student performance prediction targets at online learning platforms with a well-structured curriculum, predefined question order and accurate knowledge tags provided by domain experts. It remains unclear how to conduct student performance prediction in interactive online question pools without such well-organized question orders or knowledge tags by experts. In this paper, we propose a novel approach to boost student performance prediction in interactive online question pools by further considering student interaction features and the similarity between questions. Specifically, we introduce new features (e.g., think time, first attempt, and first drag-and-drop) based on student mouse movement trajectories to delineate students' problem-solving details. In addition, heterogeneous information network is applied to integrating students' historical problem-solving information on similar questions, enhancing student performance predictions on a new question. We evaluate the proposed approach on the dataset from a real-world interactive question pool using four typical machine learning models.

研究の動機と目的

• 事前に定義された質問の順序や専門家がアノテートした知識タグが存在しないインタラクティブなオンライン質問プールにおける学生のパフォーマンス予測の課題に対処すること。
• 構造的でない、探索的学習環境において、マウス操作特徴量がパフォーマンス予測に意味のある信号を提供できるかどうかを検討すること。
• 類似した質問における歴史的な問題解決パターンを異種情報ネットワーク（HIN）を用いて統合し、予測の頑健性を向上させること。
• 提案手法の有効性と一貫性を、多様な機械学習モデルおよび質問クラスにわたって評価すること。

提案手法

• ログ記録された相互作用データから、思考時間、初回試行、初回のドラッグアンドドロップイベントなどのマウス移動軌跡特徴量を抽出する。
• スライディングウインドウと密度の閾値を用いて、マウスドラッグイベントの変化点を検出し、各質問ごとにドラッグイベントヒストグラムを生成する。
• 学生、質問、相互作用特徴量を結ぶ異種情報ネットワーク（HIN）を構築し、類似した質問間の関係をモデル化する。
• HINを用いて、意味的に類似した質問からの歴史的パフォーマンスデータを集約し、新しい質問の予測を強化する。
• 抽出した相互作用特徴量と従来の統計的特徴量（例：平均得点）を組み合わせ、標準的な機械学習モデル（例：GBDT、SVM、LR、RF）に入力する。
• コサイン類似度を用いて、類似性スコアが ≥0.7 のもののみを対象にHIN伝搬処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 思考時間やドラッグアンドドロップのパターンといったマウス操作特徴量は、構造的でないオンライン質問プールにおける学生のパフォーマンス予測を改善できるか？
• RQ2 異種情報ネットワーク（HIN）を用いた類似質問の歴史的パフォーマンス統合は、予測精度の向上にどの程度効果的か？
• RQ3 提案手法は、多様な機械学習モデルおよび質問クラスにおいて、従来の統計的ベースラインを上回るか？
• RQ4 提案手法の性能は、異なるモデルや質問タイプにおいて一貫性を示すか？

主な発見

• 提案手法は、全テストモデルにおいて統計的特徴量（例：平均得点）のみを用いたベースラインモデルと比較して、顕著に高い予測精度を達成した。
• マウス操作特徴量の組み込みがパフォーマンス向上に大きく寄与しており、特にGBDTモデルで最も顕著な改善が見られたことから、これらの特徴量が強い予測力を持つことが示された。
• 異種情報ネットワーク（HIN）は、類似質問からの歴史的データを効果的に活用し、移行学習のパターンを捉えることで、新しい質問の予測を向上させた。
• GBDT、SVM、ロジスティック回帰、ランダムフォレストといった異なる機械学習モデルにおいて、さまざまな質問クラスにわたり、提案手法は一貫した性能向上を示した。
• 構造的カリキュラムや正確な知識タグが存在しない環境において、行動ベースの特徴量が統計的特徴量のみに比べてより情報を多く含んでいることが結果から確認された。