[논문 리뷰] edBB: Biometrics and Behavior for Assessing Remote Education

Javier Hernandez‐Ortega, Roberto Daza외 3명|arXiv (Cornell University)|2019. 12. 10.

User Authentication and Security Systems참고 문헌 22인용 수 28

한 줄 요약

이 논문은 원격 교육을 위한 생체 및 행동 모니터링 플랫폼 edBB를 소개한다. 이 플랫폼은 제어된 작업 동안 기본 센서(웹캠, 마이크로폰, 마우스, 키보드)와 고급 센서(NIR 카메라, 스마트워치, 뇌파 측정 벨트)로부터 데이터를 캡처한다. 연구자들이 접근 가능한 공개 데이터셋(20명의 사용자로부터 수집)과 다섯 가지 평가 과제(도용 탐지, 주의력 추정, 성과 예측, 사용자 신원 확인, 맥박률 추정)를 기여한다.

ABSTRACT

We present a platform for student monitoring in remote education consisting of a collection of sensors and software that capture biometric and behavioral data. We define a collection of tasks to acquire behavioral data that can be useful for facing the existing challenges in automatic student monitoring during remote evaluation. Additionally, we release an initial database including data from 20 different users completing these tasks with a set of basic sensors: webcam, microphone, mouse, and keyboard; and also from more advanced sensors: NIR camera, smartwatch, additional RGB cameras, and an EEG band. Information from the computer (e.g. system logs, MAC, IP, or web browsing history) is also stored. During each acquisition session each user completed three different types of tasks generating data of different nature: mouse and keystroke dynamics, face data, and audio data among others. The tasks have been designed with two main goals in mind: i) analyse the capacity of such biometric and behavioral data for detecting anomalies during remote evaluation, and ii) study the capability of these data, i.e. EEG, ECG, or NIR video, for estimating other information about the users such as their attention level, the presence of stress, or their pulse rate.

연구 동기 및 목표

• 원격 온라인 평가에서 학문적 정당성을 확보하기 위한 과제를 해결하기 위해 생체 및 행동 데이터를 활용한다.
• 실시간 학생 행동 및 생체 분석을 위한 다양한 센서를 통합한 종합적인 모니터링 플랫폼을 개발한다.
• 가상 평가 동안 생리적 및 행동 신호를 캡처하는 다양한 데이터셋을 수집하고 공개한다.
• 전자학습 환경에서 자동 이상 탐지, 성과 예측, 사용자 신원 확인에 대한 연구를 가능하게 한다.
• 스트레스 및 주의력과 같은 학생 상태를 평가하기 위해 뇌파, 심전도, 맥박 추정과 같은 생체 정보의 활용을 탐색한다.

제안 방법

• 플랫폼은 제어된 평가 세션 동안 기본 및 고급 센서—웹캠, 마이크로폰, 마우스, 키보드, NIR 카메라, 스마트워치, 뇌파 측정 벨트, 추가 RGB 카메라—를 통합한다.
• 사용자는 신원 등록(개인 정보 입력), 다중 선택 문제, 글쓰기 작업의 세 가지 유형의 과제를 수행하였으며, 각각 특정 행동 및 생체 신호를 유도하도록 설계되었다.
• 데이터 수집에는 마우스 동작, 타이핑 패턴, 얼굴 영상, 음성, 시스템 로그(IP, MAC 주소, 브라우징 이력) 및 생리적 신호(뇌파, 심전도, 스마트워치를 통한 맥박)가 포함되었다.
• 다섯 가지 과제를 정의하여 특정 연구 문제를 평가하였다: 이질성 탐지, 성과 예측, 사용자 신원 확인, 맥박 추정, 주의력/상태 추정.
• 시스템은 모든 센서 입력과 시스템 활동을 기록하여 행동 패턴과 사용자 상태 간의 상관관계를 분석할 수 있도록 한다.
• 데이터셋은 GitHub(https://github.com/BiDAlab/edBBdb)를 통해 공개되며, 익명화된 ID와 연구 목적을 위한 풍부한 생체 패턴을 포함한다.

실험 결과

연구 질문

• RQ1 기본 및 고급 생체 센서가 원격 온라인 시험 중 불허가 행동을 신뢰성 있게 탐지할 수 있는가?
• RQ2 행동 생체 정보(타이핑, 마우스 동작)와 생리적 신호(뇌파, 심전도, 맥박)가 원격 평가에서 학생의 성과를 얼마나 잘 예측할 수 있는가?
• RQ3 다중 모odal 생체 정보(얼굴, 타이핑, 스마트워치, 뇌파)가 원격 평가 중 학생의 신원 확인에 얼마나 효과적인가?
• RQ4 접촉 없이 RGB 및 NIR 카메라 영상에서 맥박률을 정확히 추정할 수 있으며, 이는 스트레스 또는 주의 수준과 어떻게 관련이 있는가?
• RQ5 센서 융합 및 행동 분석을 통해 실시간으로 도용 시도나 산만함과 같은 이질적 행동을 탐지할 수 있는가?

주요 결과

• edBB 플랫폼은 기본 및 고급 센서를 사용하여 20명의 사용자로부터 다섯 가지 과제에 걸쳐 다중 모달 생체 및 행동 데이터를 성공적으로 캡처하였다.
• 데이터셋에는 얼굴 영상, 음성, 마우스/타이핑 동작, 시스템 로그, 스마트워치 및 카메라를 통한 생리적 신호(뇌파, 심전도, 맥박)의 동기화된 기록이 포함되어 있다.
• 초기 결과에 따르면, 타이핑 동작 및 얼굴 특징과 같은 생체 정보가 원격 환경에서 신뢰성 있는 사용자 신원 확인을 지원할 수 있다.
• RGB 및 NIR 영상에서의 맥박 추정은 가능했으며, 비접촉 방식의 스트레스 및 주의 수준 모니터링에 잠재력이 있다.
• 기본 센서를 활용한 행동 이질성 탐지 기법을 통해 불허가 행동(예: 애플리케이션 전환, 단축키 사용)을 탐지할 수 있었다.
• 데이터셋의 공개는 향후 전자학습 환경에서의 자동 이상 탐지, 성과 예측, 정서 상태 추정 연구를 가능하게 한다.