[論文レビュー] Predicting Engagement in Video Lectures

Sahan Bulathwela, María Pérez‐Ortiz+3 more|arXiv (Cornell University)|May 31, 2020

Online Learning and Analytics参考文献 32被引用数 14

ひとこと要約

本稿では、クロスモダリティ特徴量とモダリティ固有の特徴量を用いて、動画授業の文脈に依存しない関与予測モデルを提案する。言語ベースの特徴量のみで強力な性能を達成していることが示された。20の教科にまたがる4,000件以上の講義から構成される新規データセットを用い、ランダムフォレストが他のモデルを上回った。講義の長さが最も影響力のある特徴量であり、教育レコメンデーションシステムにおけるコールドスタート問題に対しても効果的に対処している。

ABSTRACT

The explosion of Open Educational Resources (OERs) in the recent years creates the demand for scalable, automatic approaches to process and evaluate OERs, with the end goal of identifying and recommending the most suitable educational materials for learners. We focus on building models to find the characteristics and features involved in context-agnostic engagement (i.e. population-based), a seldom researched topic compared to other contextualised and personalised approaches that focus more on individual learner engagement. Learner engagement, is arguably a more reliable measure than popularity/number of views, is more abundant than user ratings and has also been shown to be a crucial component in achieving learning outcomes. In this work, we explore the idea of building a predictive model for population-based engagement in education. We introduce a novel, large dataset of video lectures for predicting context-agnostic engagement and propose both cross-modal and modality-specific feature sets to achieve this task. We further test different strategies for quantifying learner engagement signals. We demonstrate the use of our approach in the case of data scarcity. Additionally, we perform a sensitivity analysis of the best performing model, which shows promising performance and can be easily integrated into an educational recommender system for OERs.

研究の動機と目的

• オープン教育リソース（OER）における集団ベースの関与を予測するためのスケーラブルで自動化された手法の不足を解消すること。
• 個々の学習者に関する文脈に依存しない、一般化されたリソースレベルの関与を捉える文脈に依存しない関与モデルを開発すること。
• 新規コンテンツやユーザーに対する関与の早期推定を可能にすることで、教育レコメンデーションシステムにおけるデータ不足を克服すること。
• 関与予測において、クロスモダリティ特徴量（例：テキスト、音声）とモダリティ固有の特徴量の有効性を検証すること。
• 一様な普遍的モデルが、教育分野の多様な知識分野に一般化可能かどうかを検証すること。

提案手法

• 20の多様な教科にまたがる4,000件以上の動画講義を含む大規模で公開されたデータセットを構築した。
• トランスクリプト、音声、動画メタデータからクロスモダリティ特徴量を抽出し、言語的および構造的特性に焦点を当てた。
• 音声品質やビジュアルダイナミクスなどのモダリティ固有の特徴量を適用し、その追加的価値を評価した。
• 複数の機械学習モデルを訓練・比較した結果、ランダムフォレストが最も優れた性能を示した。
• 講義の関与度に基づく順序付けの精度を評価するために、ランクベースの評価指標を用いた。
• 感度分析とアブレーションスタディを実施し、特徴量の重要度とモデルの頑健性を、知識分野全体にわたり評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 個々の学習者に関する文脈に依存しない形で、スケーラブルかつ文脈に依存しない形で関与を符号化する方法は何か？
• RQ2 RQ2: 関与予測に際して、クロスモダリティの言語ベースの特徴量はどの程度有効か？
• RQ3 RQ3: モダリティ固有の特徴量を含めることで、性能に顕著な向上が見られるか？
• RQ4 RQ4: どの特徴量が文脈に依存しない関与に最も影響を与えるか？
• RQ5 RQ5: 個別化された関与モデルと比較して、限界的な集団ベースの関与を予測することは有用か？
• RQ6 RQ6: 異なる知識分野にまたがる関与予測において、共通の基本的なモデルを用いることは可能か？

主な発見

• ランダムフォレストモデルは、全評価モデルの中で最高の性能を示し、関与予測タスクにおける優れた一般化能力を示した。
• クロスモダリティの言語ベースの特徴量のみで十分な予測性能が達成されたことから、スケーラブルで自動化された関与モデリングにおけるその有用性が示された。
• モダリティ固有の特徴量を組み込むことでわずかな性能向上が得られたが、顕著な改善は見られず、クロスモダリティ特徴量が強固な予測に十分であることが示された。
• 講義の長さが、文脈に依存しない関与を予測するうえで最も影響力のある特徴量であることが特定された。これは先行研究と整合的である。
• 関与度に著しい差がある講義を順位付けする際には、類似した関与度の講義を区別する場合よりも顕著に高い性能を示した。
• 多様な知識分野にまたがって訓練された一様な普遍的モデルが、専門分野に特化したモデルを上回った。これにより、共通の基本的関与モデルの実現可能性が裏付けられた。