[論文レビュー] ALEBk: Feasibility Study of Attention Level Estimation via Blink Detection applied to e-Learning

Roberto Daza, Daniel DeAlcala+4 more|arXiv (Cornell University)|Dec 16, 2021

Gaze Tracking and Assistive Technology被引用数 12

ひとこと要約

本稿では、CNNベースの瞬き検出器を用いてeラーニングにおける学生の注目度を瞬き頻度から推定する新規手法ALEBkを提案する。瞬き頻度と注目度の間に顕著な逆相関が確認され、mEBALデータベースを用いて高・低注目状態を分類する際、最大74.47%の精度を達成した。

ABSTRACT

This work presents a feasibility study of remote attention level estimation based on eye blink frequency. We first propose an eye blink detection system based on Convolutional Neural Networks (CNNs), very competitive with respect to related works. Using this detector, we experimentally evaluate the relationship between the eye blink rate and the attention level of students captured during online sessions. The experimental framework is carried out using a public multimodal database for eye blink detection and attention level estimation called mEBAL, which comprises data from 38 students and multiples acquisition sensors, in particular, i) an electroencephalogram (EEG) band which provides the time signals coming from the student's cognitive information, and ii) RGB and NIR cameras to capture the students face gestures. The results achieved suggest an inverse correlation between the eye blink frequency and the attention level. This relation is used in our proposed method called ALEBk for estimating the attention level as the inverse of the eye blink frequency. Our results open a new research line to introduce this technology for attention level estimation on future e-learning platforms, among other applications of this kind of behavioral biometrics based on face analysis.

研究の動機と目的

• eラーニング環境における注目度を瞬き頻度を用いて推定する可能性を調査すること。
• 現実のeラーニングシナリオに適した、堅牢なディープラーニングベースの眼の瞬き検出システムを開発すること。
• mEBALデータベースからのマルチモodalデータを用いて、瞬き頻度と認知的注目度の相関関係を評価すること。
• eラーニングプラットフォームへの統合を想定した、瞬き頻度に基づく実用的な注目度推定フレームワーク（ALEBk）を提案すること。
• 瞬きに基づく行動バイオメトリクスの可能性を検討し、リモート教育システムの改善に寄与すること。

提案手法

• mEBALデータベースのRGBおよび近赤外（NIR）画像を用いて、CNNベースの眼の瞬き検出モデルをスクラッチから訓練した。
• 瞬き検出パイプラインには、顔検出、顔面特徴点の局所化、顔のアライメント、および動画フレームからの注目領域（ROI）抽出が含まれる。
• 注目度の推定は、瞬き頻度の逆数としてモデル化され、高・低注目状態を分類するためのしきい値が定義された。
• 本手法は、EEG信号と複数のセンサーからの動画記録を含む、mEBALデータベースのマルチモダリティデータを活用している。
• 分類性能は、さまざまな注目度しきい値設定における、正答率、等誤差率（EER）、および誤受容・誤拒否率を用いて評価された。
• 本手法は、mEBALおよびHUST-LEBWの2つのデータセットで検証され、現実世界の条件下における汎用性と耐障害性が示された。

実験結果

リサーチクエスチョン

• RQ1 リモートeラーニングセッションにおいて、眼の瞬き頻度と注目度の間には統計的に有意な逆相関が存在するか？
• RQ2 CNNベースの瞬き検出システムは、制約のない、現実世界のeラーニング環境でも高い性能を達成できるか？
• RQ3 瞬き頻度を用いて、eラーニングにおける高・低注目状態をどれほど信頼性高く分類できるか？
• RQ4 注目度分類のためのさまざまなしきい値設定において、ALEBk手法の性能はどのように変化するか？
• RQ5 瞬き頻度は、eラーニングプラットフォームにおけるリアルタイム注目度監視のための実用的で低コストな行動バイオメトリクスとして有効であるか？

主な発見

• 眼の瞬き頻度と注目度の間に顕著な逆相関が観察され、瞬き頻度が低いほど注目度が高いことが示された。
• 提案されたALEBk手法は、10%〜90%の注目度しきい値を用いた場合、高・低注目期間を区別する際、最大74.47%の分類精度を達成した。
• 最低の注目度しきい値（低注目状態で10%）で最高の精度が得られたことから、極端な注目度状態の分離性が優れていることが示された。
• 誤陽性率と誤陰性率がバランスを取る運用点（EER）において、70.21%の精度を達成した。これは、実用的な可能性を裏付けるものである。
• 瞬き検出モデルは、mEBALおよびHUST-LEBWの両データセットにおいて、最先端の手法を上回り、現実世界の環境下でも堅牢で汎用性の高い性能を示した。
• 確率密度分布の結果、$ au_L$ の値が低いほど高・低注目状態の間の分離が明確になった。これは、極端な注目度状態の検出可能性が向上していることを確認した。