[논문 리뷰] MAUS: A Dataset for Mental Workload Assessmenton N-back Task Using Wearable Sensor

Win-Ken Beh, Yi‐Hsuan Wu외 2명|arXiv (Cornell University)|2021. 11. 03.

Human-Automation Interaction and Safety참고 문헌 32인용 수 9

한 줄 요약

이 논문은 N-back 과제 동안 웨어러블 센서를 사용하여 정신적 부하(MW) 평가를 위한 개방형 데이터셋인 MAUS를 소개한다. 22명의 참가자로부터 동기화된 ECG, 손끝 PPG, 벨트형 PPG, GSR 데이터와 함께 NASA-TLX 평가 결과를 포함한다. 기준 시스템은 SVM 분류를 사용하여 ECG에서 71.6%의 정확도, 손끝 PPG에서 66.7%, 벨트형 PPG에서 59.9%의 정확도를 기록하여 MW 연구를 위한 재현 가능한 기준을 제공한다.

ABSTRACT

This paper describes an open-access database focusing on the study of mental workload (MW) assessment system for wearable devices. A wristband photoplethysmogram (PPG) was provided as a representative of wearable devices. In addition, a clinical device that can record Electrocardiography (ECG) , galvanic skin response (GSR) and, fingertip PPG was included in the database as a reference. The MW was induced by performing the N-back task with 22 subjects. The participants were asked to answer the Pittsburgh Sleep Quality Index (PSQI) questionnaire at the beginning of the experiment and the NASA Task Load Index (NASA-TLX) questionnaire after each N-back task. The result of data analysis show the potential uses of the recorded modalities and the feasibility of the MW elicitation protocol. Finally the MAUS dataset is now available for academic use (The MAUS dataset is available at IEEE Dataport: https://ieee-dataport.org/open-access/maus-dataset-mental-workload-assessment-n-back-task-using-wearable-sensor). Besides, we also presents a reproducible baseline system as a preliminary benchmark (The code of the baseline system on MAUS dataset is available on Github: https://github.com/rickwu11/MAUS\_dataset\_baseline\_system), which testing accuracy are 71.6 %, 66.7 %, and 59.9 % in ECG, fingertip PPG, wristband PPG, respectively.

연구 동기 및 목표

• 웨어러블 생리적 센서를 사용하여 정신적 부하(MW) 평가를 위한 개방형, 재현 가능한 데이터셋을 개발하기.
• 특히 팔목 벨트형 PPG 대비 손끝 PPG와 같은 다양한 센서 모odal 간의 MW 평가 방법을 공정하게 비교할 수 있도록 지원하기.
• 통제된 MW 조건 하에서 ECG, GSR, 손끝 PPG, 팔목 벨트형 PPG의 동기화된 기록을 제공하기.
• 웨어러블 기기로 지속적인 MW 모니터링을 위한 알고리즘 개발 및 기준 설정 지원하기.
• 향후 방법 검증 및 성능 비교를 위한 재현 가능한 기준 시스템 제공하기.

제안 방법

• 정신적 부하를 유도하기 위해 N-back 과제를 사용하였으며, N=1, 2, 3을 증가하는 난이도 수준으로 설정하였다.
• 임상 기기(EGC, GSR, 손끝 PPG)와 웨어러블 PPG 팔목 벨트를 사용하여 생리적 신호를 측정하였다.
• 각 N-back 세션 이전과 이후에 참가자들이 펜실베이니아 수면질의 평가지표(PSQI)와 NASA 작업 부하 지표(NASA-TLX)를 작성하여 주관적 MW 평가를 수행하였다.
• ECG, PPG, GSR 신호에서 추출한 시간 도메인 및 주파수 도메인 특징을 기반으로 서포트 벡터 머신(SVM) 분류기를 훈련시켰다.
• 일반화 및 강건성 평가를 위해 이탈한 참가자 한 명을 제외한 교차 검증(LOSO)과 혼합 참가자 5중 교차 검증을 두 가지 전략으로 사용하였다.
• 특징 공학은 ECG 및 PPG에서 유도된 심박수 변동성(HRV)에 중점을 두었으며, GSR의 진폭 및 피부 도전도 반응 특징도 포함하였다.

실험 결과

연구 질문

• RQ1 팔목 벨트형 웨어러블 PPG 신호가 통제된 N-back 과제 조건 하에서 정신적 부하를 신뢰성 있게 평가할 수 있는가?
• RQ2 정신적 부하 분류 성능에서 팔목 벨트형 PPG는 손끝 PPG 및 ECG에 비해 어떻게 비교되는가?
• RQ3 주관적 NASA-TLX 평가 결과가 생리적 신호 및 N-back 과제 난이도와 얼마나 관련이 있는가?
• RQ4 향후 MW 평가 알고리즘 간의 공정한 비교를 가능하게 하기 위해 재현 가능한 기준 시스템을 설정할 수 있는가?
• RQ5 ECG, PPG, GSR를 융합한 다중 모odal 융합 기술이 정신적 부하 탐지 향상에 실현 가능한가?

주요 결과

• 이탈한 참가자 한 명을 제외한 교차 검증(LOSO)에서 ECG 모odal은 71.6%의 최고 분류 정확도와 71.9%의 F1 점수를 기록하였다.
• 손끝 PPG는 LOSO에서 66.7%의 정확도와 65.0%의 F1 점수를 기록하여 중간 수준의 성능를 보이며 ECG 결과에 근접하였다.
• 팔목 벨트형 PPG는 LOSO에서 가장 낮은 성능를 보이며 59.9%의 정확도와 58.0%의 F1 점수를 기록하여 신호 품질에 심각한 도전 과제가 있음을 시사하였다.
• 혼합 참가자 5중 교차 검증에서 ECG는 강력한 성능(71.7% 정확도)을 유지하였으며, 팔목 벨트형 PPG는 64.8%의 정확도로 향상되었다.
• ANOVA 분석 결과, ECG와 손끝 PPG 간에는 심박수 변동성(HRV) 추세가 일관되게 나타났지만, 팔목 벨트형 PPG는 유의미한 차이를 보여 신호 특성이 다름을 시사하였다.
• ECG와 팔목 벨트형 PPG 간의 큰 성능 격차는 웨어러블 PPG의 정신적 부하 평가를 위한 신호 향상 기술의 필요성을 강조한다.