[論文レビュー] Analyzing Student Strategies In Blended Courses Using Clickstream Data

Nil-Jana Akpinar, Aaditya Ramdas+1 more|arXiv (Cornell University)|May 31, 2020

Online Learning and Analytics参考文献 26被引用数 4

ひとこと要約

本稿では、混合型NLPアプローチを提案し、混合型大学課程からの詳細なクリックストリームデータを分析することで、宿題と試験の準備における学生の異なる戦略を明らかにした。研究では、勉強セッション数、クリック頻度、出席率といった特徴量が、MOOCとは異なりデータが乏しい混合型コースの文脈でも、成績予測において信頼性の高い予測を可能にすることを示した。

ABSTRACT

Educational software data promises unique insights into students' study behaviors and drivers of success. While much work has been dedicated to performance prediction in massive open online courses, it is unclear if the same methods can be applied to blended courses and a deeper understanding of student strategies is often missing. We use pattern mining and models borrowed from Natural Language Processing (NLP) to understand student interactions and extract frequent strategies from a blended college course. Fine-grained clickstream data is collected through Diderot, a non-commercial educational support system that spans a wide range of functionalities. We find that interaction patterns differ considerably based on the assessment type students are preparing for, and many of the extracted features can be used for reliable performance prediction. Our results suggest that the proposed hybrid NLP methods can provide valuable insights even in the low-data setting of blended courses given enough data granularity.

研究の動機と目的

• 混合型コースにおける学生が教育ソフトウェアとどのように相互作用するか、特にその学習戦略を理解すること。
• MOOCとは異なり、データが乏しく構造化されていない混合型コースにおける成績予測のギャップを埋めること。
• 低データのクリックストリームログから意味のある、解釈可能な学生戦略を抽出するための新規手法の開発と検証すること。
• 評価形式（宿題 vs. 試験）に応じて戦略がどのように異なるか、およびそれらが学業成績に与える予測力について調査すること。
• 文脈に適応した行動ベースの特徴量を用いて、教員や早期警告システム設計に役立つ実行可能なインサイトを提供すること。

提案手法

• 非商業的な教育支援システムDiderotから得た生のクリックストリームデータを、学生の行動を表すアクションシーケンスに前処理する。
• トピックモデリング（例：潜在ディリクレ配分）を用いて、学生行動の繰り返しパターンを「戦略」として同定する。
• スイップグラムニューラルネットワークモデルを用いて、行動の文脈的埋め込みを学習し、順序的および意味的関係を捉える。
• パターンマイニングとNLP技術を統合し、細分化された相互作用ログから頻度が高く意味のある戦略を抽出する。
• 学習セッション数、クリック頻度、出席率といった導出特徴量を、木ベースのアンサンブルモデルに統合し、成績予測を行う。
• 部分従属プロットと特徴量の重要度スコアを活用して、モデル出力を解釈し、モデルの説明可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学生はコース教材とどのように相互作用しており、頻繁に使用する戦略は何か？
• RQ2 宿題の準備と試験の準備の際、学生の戦略はどのように異なるか？
• RQ3 学生の相互作用パターンや戦略は、学業成績の結果を予測可能か？
• RQ4 混合型NLP手法は、低データの混合型コースのクリックストリームデータから解釈可能な戦略を効果的に抽出できるか？
• RQ5 どの行動特徴量が、混合学習環境における高い成績を示す上で最も顕著な兆候となるか？

主な発見

• 提出期限や試験の直前には活動が増加し、試験準備では宿題を解くよりも講義ノートの復習が顕著に多いことが明らかになった。
• 学生は講義ノートや練習試験の内容よりも、宿題に関する質問をより多く行っているため、宿題の内容に特化した関与が見られた。
• 講義やレクチャーに出席する学生は、平均して76.58％の成績を達成する一方、出席しない学生は55.86％にとどまるため、出席が成績の強力な予測要因であることが示された。
• 学習セッション数、総クリック数、および宿題固有のコンテンツへの関与度は、モデルにおいて宿題の成績を予測する強力な特徴量であった。
• LDAのようなトピックモデルは、従来のパターンマイニングと類似した戦略を回復したが、スイップグラムモデルは中程度のデータ量でも文脈に適応した表現を提供した。
• 木ベースのアンサンブルモデルは、特徴量の重要度と部分従属プロットを通じて高い説明可能性を示し、高リスクの早期警告システムに適していることがわかった。