[論文レビュー] Affect-driven Engagement Measurement from Videos

Ali Abedi, Shehroz S. Khan|arXiv (Cornell University)|Jan 1, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 7被引用数 10

ひとこと要約

本稿では、連続的な価値と覚醒という感情状態を用いた動画ベースの関与測定手法を提案する。新たに考案された潜在的感情特徴ベクトルと行動特徴を組み合わせ、時系列的（深層学習）および非時系列的（従来の機械学習）モデルを用いる。DAiSEEおよびEmotiWデータセット上で評価された結果、関与分類の最先端の正確度63.3%と回帰のMSE 0.0673を達成し、関与予測における感情特徴の有効性を示している。

ABSTRACT

In education and intervention programs, person's engagement has been identified as a major factor in successful program completion. Automatic measurement of person's engagement provides useful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep learning-based temporal, and traditional machine-learning-based non-temporal models are trained and validated on frame-level, and video-level features, respectively. In addition to the conventional centralized learning, we also implement the proposed method in a decentralized federated learning setting and study the effect of model personalization in engagement measurement. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 63.3% and correctly classifying disengagement videos in the DAiSEE dataset and a regression mean squared error of 0.0673 on the EmotiW dataset. Our ablation study shows the effectiveness of incorporating affect states in engagement measurement. We interpret the findings from the experimental results based on psychology concepts in the field of engagement.

研究の動機と目的

• 仮想学習環境における動画データを用いた自動的関与測定の向上を図ること。
• 連続的感情状態（価値と覚醒）が関与予測に与える寄与を調査すること。
• 関与分類および回帰のための時系列的（深層学習）および非時系列的（従来の機械学習）モデルの開発と評価を行うこと。
• 分散型フェデレーテッド学習設定におけるモデルの個別化を検討し、一般化性能とプライバシー保護を向上させること。
• 公開済みのデータセットDAiSEEおよびEmotiWを用いて手法を検証することで、再現可能性およびベンチマークの確保を行うこと。

提案手法

• 深層学習に基づく顔認識を用いて、連続する動画フレームから連続的価値と覚醒スコアを抽出する。
• 価値と覚醒の時間的パターンと行動的手がかりを統合することで、新たな潜在的感情特徴ベクトルを構築する。
• フレームレベル特徴を用いて深層学習モデルを訓練し、関与の時間的ダイナミクスを捉える。
• ビデオレベル特徴を用いて従来の機械学習モデルを訓練し、非時系列的関与予測を実現する。
• モデルの個別化を可能にするフェデレーテッド学習フレームワークを実装する。
• 標準的な評価指標を用いる：DAiSEEでは分類正確度、EmotiWでは平均二乗誤差（MSE）。

実験結果

リサーチクエスチョン

• RQ1 連続的感情状態（価値と覚醒）は、動画ベースの学習における関与測定をどのように向上させるか？
• RQ2 ベースライン特徴と比較して、新たに考案された潜在的感情特徴ベクトルの性能向上はどの程度か？
• RQ3 従来の機械学習モデルと比較して、深層学習に基づく時系列的モデルは、ビデオレベルの関与予測においてどのように性能を発揮するか？
• RQ4 フェデレーテッド学習設定におけるモデルの個別化は、関与測定の正確度をどの程度向上させるか？
• RQ5 提案手法は、DAiSEEおよびEmotiWといったベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• 提案手法は、DAiSEEデータセットにおいて、最先端の関与分類正確度63.3%を達成し、先行手法を顕著に上回っている。
• EmotiWデータセットにおける回帰ベースの関与予測では、平均二乗誤差（MSE）が0.0673に達し、高い予測正確度を示している。
• アブレーションスタディの結果、感情状態（価値と覚醒）を組み込むことで、関与測定の性能が顕著に向上することが確認された。
• フェデレーテッド学習の実装により、データプライバシーを保護しながらも高い性能を維持する分散型学習の実現可能性が示された。
• 心理的理論を用いた解釈を通じて、結果は人間の行動的・感情的ダイナミクスと整合していることが検証された。
• 感情特徴と行動特徴の組み合わせにより、単一のモodalitiyを用いる場合よりも、より強固で正確な関与推定が可能になった。