[논문 리뷰] An automated approach for task evaluation using EEG signals

Vishal Anand, S. R. Sreeja외 1명|arXiv (Cornell University)|2019. 11. 07.

EEG and Brain-Computer Interfaces참고 문헌 22인용 수 4

한 줄 요약

이 논문은 작업 수행 중 뇌파(EEG) 신호를 이용한 정신적 부하를 추정하여 작업 복잡도를 자동으로 평가하는 방법을 제안한다. EEG 특징을 추출하고 최적화하며, 차원 축소를 위한 특징 선택을 적용하고, 지도 학습 기반 기계 학습 기법을 활용함으로써 전통적 방법에 비해 향상된 분류 정확도를 달성하였으며, 정신적 부하 추정에서 기계 학습의 효과성을 입증한다.

ABSTRACT

Critical task and cognition-based environments, such as in military and defense operations, aviation user-technology interaction evaluation on UI, understanding intuitiveness of a hardware model or software toolkit, etc. require an assessment of how much a particular task is generating mental workload on a user. This is necessary for understanding how those tasks, operations, and activities can be improvised and made better suited for the users so that they reduce the mental workload on the individual and the operators can use them with ease and less difficulty. However, a particular task can be gauged by a user as simple while for others it may be difficult. Understanding the complexity of a particular task can only be done on user level and we propose to do this by understanding the mental workload (MWL) generated on an operator while performing a task which requires processing a lot of information to get the task done. In this work, we have proposed an experimental setup which replicates modern day workload on doing regular day job tasks. We propose an approach to automatically evaluate the task complexity perceived by an individual by using electroencephalogram (EEG) data of a user during operation. Few crucial steps that are addressed in this work include extraction and optimization of different features and selection of relevant features for dimensionality reduction and using supervised machine learning techniques. In addition to this, performance results of the classifiers are compared using all features and also using only the selected features. From the results, it can be inferred that machine learning algorithms perform better as compared to traditional approaches for mental workload estimation.

연구 동기 및 목표

• 작업 수행 중 개인의 정신적 부하를 기반으로 작업 복잡도를 평가하는 자동화된 시스템을 개발하기 위해.
• 실제 작업 환경 시뮬레이션 중 EEG 신호를 측정하여 작업 인식의 변동성을 해결하기 위해.
• 최적화된 특징 추출 및 기계 학습을 통해 부하 추정 정확도를 향상시키기 위해.
• 정신적 부하 분류를 위한 전체 특징 집합 대비 선택된 특징 집합을 사용한 기계 학습 모델의 성능를 비교하기 위해.
• 방어, 민간 항공, 인간-기계 상호작용 등 고위험 분야에서의 인간-기술 상호작용을 위한 확장 가능하고 사용자 맞춤형 평가 프레임워크를 제공하기 위해.

제안 방법

• 일상적인 작업 시나리오를 활용하여 실제 인지적 부하를 시뮬레이션할 수 있는 실험 설계를 수행하였다.
• 다양한 수준의 정보 처리가 요구되는 작업을 수행하는 동안 참가자로부터 EEG 신호를 촬영하였다.
• 시간 도메인, 주파수 도메인, 시간-주파수 도메인 특징을 추출하기 위해 다수의 특징 추출 기법을 적용하였다.
• 통계적 및 상관관계 기반 방법을 사용하여 특징 최적화 및 선택을 수행하여 차원 축소를 이루고 관련 정보를 유지하였다.
• 전체 특징 집합과 선택된 특징 집합을 모두 사용하여 지도 학습 기반 분류기(SVM, 랜덤 포레스트, XGBoost 등)를 훈련시켰다.
• 분류 정확도, F1 점수, ROC 곡선 아래 면적(AUC)을 사용하여 성능을 평가하고, 모델 간 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 EEG 기반 정신적 부하 추정은 개인의 작업 복잡도 인식을 정확하게 반영할 수 있는가?
• RQ2 다양한 특징 추출 및 선택 방법이 부하 추정의 분류 성능에 어떤 영향을 미치는가?
• RQ3 기계 학습 모델은 전통적 방법에 비해 EEG 신호로부터 정신적 부하를 분류하는 데에서 뛰어난 성능을 보이는가?
• RQ4 선택된 특징 집합과 전체 특징 집합 간의 부하 분류 성능에서 각각의 기여도는 어떠한가?
• RQ5 실시간 EEG 데이터를 사용하여 자동화된 시스템이 작업 복잡도를 신뢰성 있게 평가할 수 있는가?

주요 결과

• 기계 학습 모델이 EEG 신호로부터 정신적 부하를 추정하는 데 있어 전통적 분류 방법보다 유의미하게 뛰어난 성능을 보였다.
• 특징 선택을 통해 잡음과 관련 없는 특징을 줄여 일반화 능력을 향상시켜 모델 성능을 향상시켰다.
• XGBoost를 사용한 선택된 특징 집합 기반 모델에서 가장 높은 분류 정확도를 달성하였으며, 전체 특징 집합 기반 모델보다 뛰어난 성능을 보였다.
• 본 연구는 EEG 기반 정신적 부하 추정이 자동화된 작업 평가에 실현 가능하고 효과적임을 입증하였다.
• 제안된 파이프라인은 인지적 부하가 높은 환경에서 실시간으로 개인 맞춤형 작업 복잡도 평가를 가능하게 하였다.
• 결과는 EEG와 기계 학습을 방어, 민간 항공, 인간-컴퓨터 상호작용 분야에서 작업 부하 평가를 위한 신뢰할 수 있는 자동화 도구로 활용할 수 있음을 검증하였다.