[论文解读] edBB: Biometrics and Behavior for Assessing Remote Education

Javier Hernandez‐Ortega, Roberto Daza+3 more|arXiv (Cornell University)|Dec 10, 2019

User Authentication and Security Systems参考文献 22被引用 28

一句话总结

本论文介绍了edBB，一种用于远程教育监控的生物识别与行为监测平台，可在受控任务期间从基础传感器（摄像头、麦克风、鼠标、键盘）和高级传感器（NIR摄像头、智能手表、EEG脑电带）捕获数据。该平台贡献了一个公开可用的数据集，包含20名用户的数据，并提出了五个评估挑战，重点在于检测作弊行为、估算注意力水平、预测表现、用户身份认证以及利用多模态生物识别技术估算心率。

ABSTRACT

We present a platform for student monitoring in remote education consisting of a collection of sensors and software that capture biometric and behavioral data. We define a collection of tasks to acquire behavioral data that can be useful for facing the existing challenges in automatic student monitoring during remote evaluation. Additionally, we release an initial database including data from 20 different users completing these tasks with a set of basic sensors: webcam, microphone, mouse, and keyboard; and also from more advanced sensors: NIR camera, smartwatch, additional RGB cameras, and an EEG band. Information from the computer (e.g. system logs, MAC, IP, or web browsing history) is also stored. During each acquisition session each user completed three different types of tasks generating data of different nature: mouse and keystroke dynamics, face data, and audio data among others. The tasks have been designed with two main goals in mind: i) analyse the capacity of such biometric and behavioral data for detecting anomalies during remote evaluation, and ii) study the capability of these data, i.e. EEG, ECG, or NIR video, for estimating other information about the users such as their attention level, the presence of stress, or their pulse rate.

研究动机与目标

• 为解决在远程在线评估中确保学术诚信的挑战，利用生物识别与行为数据。
• 开发一个综合监控平台，集成多种传感器，实现实时学生行为与生物识别分析。
• 收集并发布一个多样化数据集，记录虚拟评估期间的生理与行为信号。
• 推动在电子学习环境中实现自动化异常检测、表现预测与用户身份认证的研究。
• 探索利用EEG、ECG和心率估算等生物识别技术评估学生状态（如压力与注意力）的潜力。

提出的方法

• 该平台在受控评估会话期间整合了基础与高级传感器——包括摄像头、麦克风、鼠标、键盘、NIR摄像头、智能手表、EEG脑电带以及额外的RGB摄像头。
• 用户完成了三类任务：注册（个人信息输入）、选择题和写作任务，每类任务均旨在诱发特定的行为与生物识别信号。
• 数据采集包括鼠标动态、击键模式、面部视频、音频、系统日志（IP、MAC地址、浏览历史记录）以及生理信号（EEG、ECG、智能手表测得的心率）。
• 定义了五个挑战以评估特定研究问题：异常检测、表现预测、用户身份认证、心率估算以及注意力/状态估算。
• 系统记录所有传感器输入与系统活动，支持行为模式与用户状态之间的关联分析。
• 数据集通过GitHub（https://github.com/BiDAlab/edBBdb）发布，采用匿名ID，并包含丰富的生物识别模式，适用于研究用途。

实验结果

研究问题

• RQ1 基础与高级生物识别传感器能否可靠检测远程在线考试期间的非授权行为？
• RQ2 行为生物识别（击键、鼠标动态）与生理信号（EEG、ECG、心率）在多大程度上可预测远程评估中的学生表现？
• RQ3 多模态生物识别信号（面部、击键、智能手表、EEG）在远程评估中认证学生的效果如何？
• RQ4 能否通过RGB与NIR摄像头视频非接触式准确估算心率，其与压力或注意力水平的相关性如何？
• RQ5 系统能否通过传感器融合与行为分析，在实时环境中检测到如作弊尝试或分心等异常行为？

主要发现

• edBB平台成功利用基础与高级传感器，在五项挑战中从20名用户处捕获了多模态生物识别与行为数据。
• 数据集包含面部视频、音频、鼠标/击键动态、系统日志以及来自智能手表与摄像头的生理信号（EEG、ECG、心率）的同步记录。
• 初步结果显示，击键动态与面部特征等生物识别信号可在远程环境中支持可靠的用户身份认证。
• 从RGB与NIR视频中估算心率是可行的，具有实现非接触式压力与注意力水平监测的潜力。
• 系统通过基础传感器的行为异常检测，成功识别出非允许操作（如切换应用程序、使用快捷键）。
• 数据集的发布为未来在电子学习环境中开展自动化异常检测、表现预测与情感状态估算的研究提供了支持。