[논문 리뷰] An Effective Entropy-assisted Mind-wandering Detection System with EEG Signals based on MM-SART Database

Yi-Ta Chen, Hsing-Hao Lee외 5명|arXiv (Cornell University)|2020. 05. 25.

Mind wandering and attention참고 문헌 37인용 수 5

한 줄 요약

이 논문은 새로운 MM-SART 데이터베이스에서 엔트로피 보조 특징을 사용하여 뇌파 기반의 정신 산만 감지 시스템을 제안하며, 채널 및 특징 선택 후 랜덤 포레스트 분류를 통해 AUC 0.725를 달성한다. 시스템은 오직 두 개의 핵심 뇌파 채널을 선택하고 상관 기반 특징 제거를 적용하여 계산 부담을 줄여 실시간 원격 학습 응용 분야에서 효율성과 정확도를 향상시킨다.

ABSTRACT

Mind-wandering (MW), which usually defined as a lapse of attention, occurs between 20%-40% of the time, has negative effects on our daily life. Therefore, detecting when MW occurs can prevent us from those negative outcomes resulting from MW, such as failing to keep track of course during learning. In this work, we first collect a multi-modal Sustained Attention to Response Task (MM-SART) database for detecting MW. Eighty-two participants' data are collected in our experiments. For each participant, we collect measures of 32-channels electroencephalogram (EEG) signals, photoplethysmography (PPG) signals, galvanic skin response (GSR) signals, eye tracker signals, and several questionnaires for detailed analyses. Then, we propose an effective MW detection system based on the collected EEG signals. To explore the non-linear characteristics of EEG signals, we utilize the entropy-based features in time, frequency, and wavelet domains. The experimental results show that we can reach 0.712 AUC score by using the random forest (RF) classifier with the leave-one-subject-out cross-validation. Moreover, to lower the overall computational complexity of the MW detection system, we apply techniques of channel selection and feature selection. By using the only two most significant EEG channels, we can reduce the training time of the classifier by 44.16%. By performing correlation importance feature elimination (CIFE) on the feature set, we can further improve the AUC score to 0.725 but with only 14.6% of the selection time compared with the recursive feature elimination (RFE) method. By proposing the MW detection engine, current work can be applied to educational scenarios, especially in the era of remote learning nowadays.

연구 동기 및 목표

• 뇌파 신호를 사용하여 효과적이고 계산적으로 효율적인 정신 산만 감지 시스템을 개발하기 위해.
• 82명의 참가자로 구성된 새로운 다중 모odal MM-SART 데이터베이스를 수집하고 활용하여 강건한 MW 분석을 위해.
• 시간, 주파수 및 웨이블릿 도메인에서 엔트로피 기반 특징을 통해 뇌파 신호의 비선형 역학을 탐색하기 위해.
• 뇌파 채널 및 특징 선택을 통해 계산 복잡도를 감소시키되, 감지 성능을 훼손하지 않기 위해.
• 최적화된 실시간 감지로 원격 학습 환경에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 82명의 참가자로부터 32채널 뇌파, PPG, GSR, 눈동자 추적 및 설문지 데이터를 MM-SART 작업을 통해 수집하였다.
• 시간, 주파수 및 웨이블릿 도메인에서 뇌파 신호로부터 엔트로피 기반 특징을 추출하여 비선형 역학을 포착하였다.
• 정신 산만 감지를 위해 유사한 참가자 제외 교차검증을 사용한 랜덤 포레스트 분류기를 적용하였다.
• 훈련 시간을 단축하기 위해 뇌파 채널 선택을 수행하여 가장 중요한 두 채널만 유지하였다.
• 상관 기반 특징 제거(CIFE)를 사용하여 특징 선택을 수행하여 RFE에 비해 선택 시간을 14.6%로 줄였고, AUC를 향상시켰다.
• 실세계 교육 환경에서 저지연 배포를 위해 감지 엔진을 최적화하였다.

실험 결과

연구 질문

• RQ1 다양한 도메인의 뇌파 신호에서 유도된 엔트로피 기반 특징이 정신 산만 기간을 효과적으로 감지할 수 있는가?
• RQ2 채널 선택은 정신 산만 감지 시스템의 계산 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 CIFE는 계산 비용을 줄이면서도 RFE를 능가하는 성능을 보일 수 있는가?
• RQ4 제안된 시스템은 최소한의 뇌파 채널과 특징으로도 높은 정확도를 유지할 수 있는가?
• RQ5 이 시스템은 실시간 주의 모니터링을 위해 원격 학습 환경에서 실용적으로 구현될 수 있는가?

주요 결과

• 제안된 시스템은 랜덤 포레스트 분류기를 사용하여 모든 뇌파 채널과 특징을 활용해 AUC 0.712를 달성하였다.
• 가장 중요한 두 뇌파 채널만 선택함으로써 훈련 시간이 44.16% 감소하였고 성능 저하 없이 유지되었다.
• CIFE를 적용한 특징 선택으로 AUC가 0.725로 향상되어 기준 방법을 초월하였다.
• CIFE는 RFE에 비해 특징 선택 시간을 14.6%로 줄였다.
• 최적화된 시스템은 저지연, 실시간 정신 산만 감지가 가능하여 원격 학습 응용 분야에 적합하다.
• MM-SART 데이터베이스는 향후 주의 및 인지 상태 연구를 위한 풍부한 다중 모달 데이터셋을 제공한다.