[論文レビュー] Real-time Attention Span Tracking in Online Education

Rahul RK, Shantha Kumar S+2 more|arXiv (Cornell University)|Nov 29, 2021

Mind wandering and attention参考文献 6被引用数 4

ひとこと要約

本稿では、オンライン授業中の学生の注意の持続時間を、カメラとマイクの入力を用いて分析することで、5つの非言語的特徴—頭部の姿勢、視線、顔の表情、頭部の動き、発話パターン—を用いてリアルタイムで追跡するシステムを提案する。コンピュータビジョンと機械学習を統合することで、注意スコアを算出し、学生および教育者に即時のフィードバックを提供する。これにより、ヒューリスティックな注意スコア指標を用いて、学習成績と教育の質の評価が可能になる。

ABSTRACT

Over the last decade, e-learning has revolutionized how students learn by providing them access to quality education whenever and wherever they want. However, students often get distracted because of various reasons, which affect the learning capacity to a great extent. Many researchers have been trying to improve the quality of online education, but we need a holistic approach to address this issue. This paper intends to provide a mechanism that uses the camera feed and microphone input to monitor the real-time attention level of students during online classes. We explore various image processing techniques and machine learning algorithms throughout this study. We propose a system that uses five distinct non-verbal features to calculate the attention score of the student during computer based tasks and generate real-time feedback for both students and the organization. We can use the generated feedback as a heuristic value to analyze the overall performance of students as well as the teaching standards of the lecturers.

研究の動機と目的

• オンライン教育環境における学生の注意力散漫の増加という課題に対処すること。
• 仮想授業中に学生の注意をリアルタイムで、非干渉的にモニタリングする手法を開発すること。
• 注意レベルと相関する非言語的行動的兆候を同定および定量化すること。
• リアルタイムの注意スコアに基づいて、学生および教育者に実行可能なフィードバックを提供すること。
• 学生の関与度と教育効果の評価のためのヒューリスティックフレームワークを確立すること。

提案手法

• システムは、オンライン授業中の学生からリアルタイムでビデオおよびオーディオストリームを収集する。
• コンピュータビジョンおよびオーディオ処理技術を用いて、頭部の姿勢、視線、顔の表情、頭部の動き、発話パターンという5つの非言語的特徴を抽出する。
• 機械学習モデルがこれらの特徴を統合し、リアルタイムで動的注意スコアを算出する。
• 注意スコアは継続的に更新され、学生およびインストラクター向けの即時のフィードバックを生成するために使用される。
• 画像処理およびディープラーニングモデルを活用して、視線および顔の活動の正確な検出を実現する。
• フィードバックは、個々の学生の関与度および全体的な教育の質を評価するためのヒューリスティックとして使用される。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習中に、ビデオおよびオーディオストリームから非言語的行動的兆候を信頼性高く抽出する方法は何か？
• RQ2 どの非言語的特徴の組み合わせが、リアルタイムでの学生の注意を最も正確に反映するか？
• RQ3 十分な精度でリアルタイムの注意スコアを算出できるか、教育的フィードバックに活用できるか？
• RQ4 注意スコアは、学生の関与度と教育効果の両方を評価するためにどのように活用できるか？
• RQ5 このようなシステムを実世界のオンライン教育環境に導入する可能性はどの程度か？

主な発見

• 本システムは、ビデオおよびオーディオ入力からの5つの非言語的特徴を用いて、リアルタイムでの注意スコアを正常に算出できた。
• 注意スコアは、ライブオンライン授業中に学生および教育者に対して実行可能なフィードバックを提供した。
• 本アプローチにより、注意スコア指標を用いたヒューリスティックベースの学生関与度および教育効果の評価が可能になった。
• 本システムは、オンライン教育環境におけるリアルタイム監視の実現可能性を示した。
• 視覚的および音声的手がかりの統合により、単一モodalアプローチに比べて注意推定のロバスト性が向上した。
• 本手法は、eラーニングプラットフォームにおける機関向けスケーラブルな展開を支援する。