[論文レビュー] edBB: Biometrics and Behavior for Assessing Remote Education

Javier Hernandez‐Ortega, Roberto Daza+3 more|arXiv (Cornell University)|Dec 10, 2019

User Authentication and Security Systems参考文献 22被引用数 28

ひとこと要約

本稿では、制御されたタスク中に基本的（Webカメラ、マイク、マウス、キーボード）および高度なセンサー（NIRカメラ、スマートウォッチ、EEGバンド）からのデータを収集する、リモート教育向けのバイオメトリクスおよび行動監視プラットフォームedBBを紹介する。20名の被験者からの公開可能なデータセットと、不正行為の検出、注意の推定、成績の予測、ユーザー認証、マルチモーダルバイオメトリクスを用いた脈拍推定を焦点とした5つの評価チャレンジを提供する。

ABSTRACT

We present a platform for student monitoring in remote education consisting of a collection of sensors and software that capture biometric and behavioral data. We define a collection of tasks to acquire behavioral data that can be useful for facing the existing challenges in automatic student monitoring during remote evaluation. Additionally, we release an initial database including data from 20 different users completing these tasks with a set of basic sensors: webcam, microphone, mouse, and keyboard; and also from more advanced sensors: NIR camera, smartwatch, additional RGB cameras, and an EEG band. Information from the computer (e.g. system logs, MAC, IP, or web browsing history) is also stored. During each acquisition session each user completed three different types of tasks generating data of different nature: mouse and keystroke dynamics, face data, and audio data among others. The tasks have been designed with two main goals in mind: i) analyse the capacity of such biometric and behavioral data for detecting anomalies during remote evaluation, and ii) study the capability of these data, i.e. EEG, ECG, or NIR video, for estimating other information about the users such as their attention level, the presence of stress, or their pulse rate.

研究の動機と目的

• リモートオンライン評価における学術的誠実性を確保する挑戦に、バイオメトリクスおよび行動データを活用して対処すること。
• リアルタイムでの学生の行動およびバイオメトリクス分析を統合する、複数のセンサーを備えた包括的な監視プラットフォームの開発。
• 仮想評価中に生理的および行動的信号を捉えた多様なデータセットの収集と公開。
• eラーニング環境における自動異常検出、成績予測、ユーザー認証に関する研究を可能にすること。
• ストレスや注意状態などの学生の状態を評価するために、EEG、ECG、脈拍推定などのバイオメトリクスの利用を検討すること。

提案手法

• プラットフォームは、Webカメラ、マイク、マウス、キーボード、NIRカメラ、スマートウォッチ、EEGバンド、および追加のRGBカメラを含む、基本的および高度なセンサーを統合している。
• 被験者は、登録（個人情報入力）、選択肢付きの設問、およびライティングタスクの3種類のタスクを実施し、それぞれ特定の行動的およびバイオメトリック信号を誘発するように設計されている。
• データ収集には、マウス動態、キーストロークパターン、顔面動画、音声、システムログ（IP、MAC、ブラウジング履歴）、および生理的信号（EEG、ECG、スマートウォッチからの脈拍）が含まれる。
• 特定の研究課題を評価するための5つのチャレンジが定義された：異常検出、成績予測、ユーザー認証、脈拍推定、注意状態推定。
• システムはすべてのセンサー入力とシステム活動をログ記録しており、行動パターンとユーザー状態の相関を可能にしている。
• データセットはGitHub（https://github.com/BiDAlab/edBBdb）を通じて公開され、匿名化されたIDと研究用途に適した豊富なバイオメトリックパターンを備えている。

実験結果

リサーチクエスチョン

• RQ1 基本的および高度なバイオメトリクスセンサーは、リモートオンライン試験中に不正行為を信頼性高く検出できるか？
• RQ2 キーストロークやマウス動態といった行動バイオメトリクス、およびEEG、ECG、脈拍といった生理的信号は、リモート評価における学生の成績をどの程度正確に予測できるか？
• RQ3 顔、キーストローク、スマートウォッチ、EEGを含むマルチモーダルバイオメトリクス信号は、リモート評価中の学生認証にどの程度効果的か？
• RQ4 接触なしでRGBおよびNIRカメラの動画から脈拍を正確に推定できるか？また、それはストレスや注意レベルとどの程度相関するか？
• RQ5 センサーフュージョンと行動分析を用いて、リモート環境で不正行為の試みや集中力の散漫をリアルタイムで検出できるか？

主な発見

• edBBプラットフォームは、基本的および高度なセンサーを用いて、5つのチャレンジを通じて20名の被験者からマルチモーダルバイオメトリクスおよび行動データを効果的に収集した。
• データセットには、顔面動画、音声、マウス/キーストローク動態、システムログ、およびスマートウォッチおよびカメラからの生理的信号（EEG、ECG、脈拍）の同期録画が含まれる。
• 予備的な結果では、キーストローク動態や顔の特徴といったバイオメトリック信号が、リモート環境での信頼性の高いユーザー認証を支援できることが示された。
• RGBおよびNIR動画からの脈拍推定は実現可能であり、非接触でのストレスおよび注意状態モニタリングの可能性を秘めている。
• 基本的センサーを用いた行動異常検出により、非許可の操作（アプリケーションの切り替え、ショートカットの使用など）を検出する能力がシステムで示された。
• データセットの公開により、将来的な研究がeラーニング環境における自動異常検出、成績予測、感情状態推定の分野で可能になる。