[論文レビュー] Tracking Behavioral Patterns among Students in an Online Educational System

Stephan Sloth Lorenzen, Niklas Hjuler+1 more|arXiv (Cornell University)|Aug 21, 2019

Online Learning and Analytics被引用数 6

ひとこと要約

本研究では、2015–2017年間の112週間にわたり、14,810人のデンマークの小学校児童から得られた300万件のセッションに対して非負値行列分解（NMF）を適用し、オンライン教育システム内の柔らかく行動的クラスタを同定した。その結果、言語科目ではクイズの練習が最も効果的であることが判明した一方、社会科および理科科目では、ブルームのタクソノミーの高レベル（分析、評価、創造）が著しく未利用であることが明らかになった。全体として、システム内での滞在時間は著しく増加しており、特に言語学習において顕著である。

ABSTRACT

Analysis of log data generated by online educational systems is an essential task to better the educational systems and increase our understanding of how students learn. In this study we investigate previously unseen data from Clio Online, the largest provider of digital learning content for primary schools in Denmark. We consider data for 14,810 students with 3 million sessions in the period 2015-2017. We analyze student activity in periods of one week. By using non-negative matrix factorization techniques, we obtain soft clusterings, revealing dependencies among time of day, subject, activity type, activity complexity (measured by Bloom's taxonomy), and performance. Furthermore, our method allows for tracking behavioral changes of individual students over time, as well as general behavioral changes in the educational system. Based on the results, we give suggestions for behavioral changes, in order to optimize the learning experience and improve performance.

研究の動機と目的

• オンライン教育システムにおける学生の行動が学習成績とどのように相関するかを理解すること。
• 異なる科目が、演習においてブルームのタクソノミーのどのレベルをどのように活用しているかを調査すること。
• 時間経過に伴う個々の学生およびシステム全体の行動変化を追跡すること。
• 教育的成果を向上させるために最適および劣悪な学習行動を特定すること。

提案手法

• 週単位の学生行動データに非負値行列分解（NMF）を適用し、行動パターンの柔らかくクラスタリングを生成した。
• セッションは、連続するページアクセス間の600秒の時間隔を基準に定義され、クイズは別々のセッションとして扱われた。
• 特徴量には、時間帯、科目、活動タイプ、演習の複雑さ（ブルームのタクソノミーのレベル）、およびクイズスコアなどの成績指標が含まれた。
• 集計された週次データに対して一度だけクラスタリングが実施され、個々の学生およびシステム全体の行動の進化を追跡可能とした。
• 112週間にわたりクラスタメンバーシップを追跡し、傾向や相関関係を特定した。
• 縦断的行動分析のため、時間経過に伴うクラスタの一致を確認するためにコサイン類似度が用いられた。

実験結果

リサーチクエスチョン

• RQ1 オンラインシステムにおける学生の行動は、学業成績にどのように影響するか？
• RQ2 異なるブルームのタクソノミーのレベルの使用は、科目ごとにどのように分布しているか？
• RQ3 学生の間で支配的である行動パターンは何か、またそれらは時間経過でどのように変化するか？
• RQ4 特定の科目において、成績向上に最も効果的な活動（例：クイズ、読解）は何か？
• RQ5 システム全体の行動傾向は、休暇や学校休暇とどのように相関しているか？

主な発見

• 学校外時間（例：自宅）にシステムを利用しても、学校内での利用と比べて成績に顕著な向上は見られなかった。
• クイズへの参加は言語科目の成績向上に顕著に寄与しており、練習中心の演習が言語学習に特に効果的であることが示唆された。
• 言語科目では、主に「読解・理解」レベルの活動に参加しているが、より高いレベルの思考スキル（分析、評価、創造）の利用も比較的バランスが取れていた。
• 社会科では、「分析」と「評価」レベルの活動に強い関与が見られたが、「創造」レベルの活動はほとんど利用されていなかった。
• 理科科目では、高レベルのブルームのタクソノミー（分析、評価、創造）が著しく未利用であり、大多数の活動が低レベルに集中していた。
• 平均週間滞在時間は、言語科目の学生では15分から45分に、社会科および理科の学生では15分から25分にまで増加しており、時間経過に伴うシステムへの関与の増加が示された。