[論文レビュー] VLEngagement: A Dataset of Scientific Video Lectures for Evaluating Population-based Engagement

Sahan Bulathwela, María Pérez‐Ortiz+2 more|arXiv (Cornell University)|Nov 2, 2020

Wikis in Education and Collaboration参考文献 40被引用数 9

ひとこと要約

本稿では、VideoLectures.NETから収集された4,000件を超える科学的ビデオ講義から構成され、コンテンツベース、Wikipediaベース、および動画固有の特徴とユーザーの関与度メトリクスを併せ持つ、大規模かつ公開可能なデータセットVLEngagementを紹介する。本データセットは、新たなタスクを通じて集団ベースの関与度予測とランク付けを可能にし、アンサンブル学習を用いたベースラインモデルが優れた性能を示しており、教育分野におけるスケーラブルな品質保証およびレコメンデーションシステムの実現を支援する。

ABSTRACT

With the emergence of e-learning and personalised education, the production and distribution of digital educational resources have boomed. Video lectures have now become one of the primary modalities to impart knowledge to masses in the current digital age. The rapid creation of video lecture content challenges the currently established human-centred moderation and quality assurance pipeline, demanding for more efficient, scalable and automatic solutions for managing learning resources. Although a few datasets related to engagement with educational videos exist, there is still an important need for data and research aimed at understanding learner engagement with scientific video lectures. This paper introduces VLEngagement, a novel dataset that consists of content-based and video-specific features extracted from publicly available scientific video lectures and several metrics related to user engagement. We introduce several novel tasks related to predicting and understanding context-agnostic engagement in video lectures, providing preliminary baselines. This is the largest and most diverse publicly available dataset to our knowledge that deals with such tasks. The extraction of Wikipedia topic-based features also allows associating more sophisticated Wikipedia based features to the dataset to improve the performance in these tasks. The dataset, helper tools and example code snippets are available publicly at https://github.com/sahanbull/context-agnostic-engagement

研究の動機と目的

• 科学的ビデオ講義における文脈に依存しない関与度を評価するための公開可能なデータセットの不足に対処すること。
• ユーザーのフィードバックが得られる前段階で関与度の潜在的要因を予測できることにより、教育分野におけるスケーラブルな品質保証およびレコメンデーションシステムを支援すること。
• 新規ユーザーおよび新規コンテンツの両方に対する教育レコメンデーションシステムのコールドスタート問題を解決する基盤を提供すること。
• 科学的教育動画における関与度を引き起こす要因を理解するため、テキスト、視覚、Wikipediaベースのマルチモーダル特徴の研究を可能にすること。
• オープン教育リソースからの実世界のデータを用いて、集団ベースの関与度予測とランク付けのベンチマークを確立すること。

提案手法

• 4,000件を超える査読済み科学的ビデオ講義をVideoLectures.NETから収集し、多様な知識分野と言語をカバーする。
• 自然言語処理技術を用いて、講義のトランスクリプトから構文的、意味的、語彙的パターンを抽出し、コンテンツベースの特徴を抽出する。
• エンティティリンクを用いてWikipediaトピックベースの特徴を導出することで、構造化された知識と関連付ける。
• 音声・視覚的およびスライドのパターンを抽出し、マルチモーダルな関与度の兆候を捉える動画固有の特徴を抽出する。
• 視聴回数、いいね、共有数などの公開された相互作用メトリクスから、文脈に依存しない関与度のラベルを収集する。
• 主な2つのタスク（関与度予測とランク付け）を定義し、アンサンブル学習モデルをベースライン手法として用いる。

実験結果

リサーチクエスチョン

• RQ1 特にWikipediaベースおよびコンテンツベースの特徴の中で、科学的ビデオ講義における集団レベルの関与度を最もよく予測するのはどれか？
• RQ2 アンサンブル学習モデルは、マルチモーダル特徴から文脈に依存しない関与度を予測する際にどの程度効果的か？
• RQ3 関与度予測モデルは、教育レコメンデーションシステムにおけるコールドスタート問題をどの程度軽減できるか？
• RQ4 テキスト、音声、動画、スライドといった異なるモodal（モダリティ）は、科学的コンテンツにおける関与度予測にどの程度寄与するか？
• RQ5 このデータセットは、異なる教育コンテンツのモダリティ間でマルチタスク学習やトランスファー学習を支援できるか？

主な発見

• VLEngagementデータセットには、多様なコンテンツ、言語、知識分野を有する4,000件を超える科学的ビデオ講義が含まれており、この目的における最大の公開データセットである。
• アンサンブル学習モデルは、関与度予測およびランク付けタスクで優れた性能を示しており、自動による関与度推定の実現可能性を裏付けている。
• Wikipediaベースのエンティティリンクの統合により、特徴表現が著しく向上し、モデルの汎化性能と解釈可能性が向上した。
• 本データセットは、文脈に依存しない関与度の有効なモデリングを可能にし、eラーニング分野におけるスケーラブルな品質保証およびレコメンデーションパイプラインを支援する。
• 予備的な結果では、テキスト、視覚、音声・視覚的特徴といったマルチモーダル特徴が、単一モーダルアプローチを上回る関与度予測を統合的に向上させている。
• 本データセットは、ツールとコードを併せて公開されており、再現性を確保するとともに、教育レコメンデーションシステム分野における今後の研究を促進する。