[논문 리뷰] A Multimodal Perceived Stress Classification Framework using Wearable Physiological Sensors

Muhammad Majid, Aamir Arsalan외 1명|arXiv (Cornell University)|2022. 06. 22.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 40명의 피험자로부터 웨어러블 생리학적 센서(EEG, GSR, PPG)를 사용하여 시간 및 주파수 도메인 특징을 추출하고, 밴드 선택 및 워퍼 기반 특징 최적화를 거친 후, 다중모달 인식 스트레스 분류 프레임워크를 제안한다. 다층퍼셉트론 분류기(Multilayer Perceptron)는 이중 분류에 대해 95%의 정확도, 삼중 분류에 대해 77.5%의 정확도를 달성하였다.

ABSTRACT

Mental stress is a largely prevalent condition known to affect many people and could be a serious health concern. The quality of human life can be significantly improved if mental health is properly managed. Towards this, we propose a robust method for perceived stress classification, which is based on using multimodal data, acquired from forty subjects, including three (electroencephalography (EEG), galvanic skin response (GSR), and photoplethysmography (PPG)) physiological modalities. The data is acquired for three minutes duration in an open eyes condition. A perceived stress scale (PSS) questionnaire is used to record the stress of participants, which is then used to assign stress labels (two- and three classes). Time (four from GSR and PPG signals) and frequency (four from EEG signal) domain features are extracted. Among EEG based features, using a frequency band selection algorithm for selecting the optimum EEG frequency subband, the theta band was selected. Further, a wrapper-based method is used for optimal feature selection. Human stress level classification is performed using three different classifiers, which are fed with a fusion of the selected set of features from three modalities. A significant accuracy (95% for two classes, and 77.5% for three classes) was achieved using the multilayer perceptron classifier.

연구 동기 및 목표

• 웨어러블 생리학적 센서를 활용한 인식 스트레스 수준을 분류하기 위한 강건한 다중모달 프레임워크를 개발하기 위해.
• 기존 문헌에서 급성 스트레스보다 덜 다뤄진 만성 또는 인식 스트레스를 분류하는 데 도전하기 위해.
• 다양한 생리학적 모odalities(EEG, GSR, PPG)의 특징을 융합하여 분류 정확도를 향상시키기 위해.
• 주파수 대역 선택 알고리즘과 워퍼 기반 방법을 활용한 특징 선택 최적화를 통해 모델 성능을 향상시키기 위해.
• 실세계 생리학적 데이터를 기반으로 이중 및 삼중 분류 인식 스트레스 분류 작업에 대한 시스템 평가를 수행하기 위해.

제안 방법

• 3분간의 생리학적 데이터를 40명의 피험자로부터 개방된 눈 상태에서 EEG, GSR, PPG 센서를 사용해 수집하였다.
• GSR 및 PPG 신호에서 시간 도메인 특징(첨도, 엔트로피, 표준편차 대 평균 절대값 비율, 분산)을 추출하였다.
• EEG 신호에서 여러 대역에서 주파수 도메인 특징(유리 비대칭성, 분할 비대칭성, 상관관계, 파wer 스펙트럼)을 추출하였다.
• 주파수 대역 선택 알고리즘을 적용하여 EEG 신호에서 테타 대역을 스트레스 분류에 최적임으로 식별하였다.
• 워퍼 기반 특징 선택 방법을 사용하여 다중모달 특징 세트에서 가장 분류 능력이 뛰어난 특징을 선별하였다.
• 선별된 특징을 융합하고 SVM, 나이브 베이즈, 다층퍼셉트론(MLP) 분류기 세 종류를 사용하여 스트레스 수준을 분류하였다.

실험 결과

연구 질문

• RQ1 EEG, GSR, PPG 신호의 다중모달 융합은 단일 모달리티 접근에 비해 인식 스트레스 분류 정확도를 향상시키는가?
• RQ2 EEG 주파수 대역(예: 테타, 알파, 베타) 중 어느 것이 인식 스트레스 분류 성능을 가장 높이는가?
• RQ3 워퍼 기반 특징 선택 방법은 차원을 줄이면서도 스트레스 분류의 분류 능력을 유지하는 데 얼마나 효과적인가?
• RQ4 다양한 분류기(SVM, 나이브 베이즈, MLP)가 융합된 다중모달 생리학적 특징에 적용되었을 때, 이중 및 삼중 분류 인식 스트레스 분류 작업에서의 성능은 어떠한가?
• RQ5 정확도, 참가자 수, 분류 복잡도 측면에서 제안된 프레임워크는 최신 기술에 비해 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 다층퍼셉트론(MLP) 분류기를 사용하여 이중 분류에서 95%의 정확도를 달성하였다.
• 삼중 분류 인식 스트레스 분류에서는 MLP 분류기가 77.5%의 정확도를 달성하여 더 복잡한 분류 과제에서도 강건성을 입증하였다.
• 주파수 대역 선택 알고리즘을 통해 EEG 신호의 테타 대역이 최적의 주파수 하위대역으로 식별되었으며, 분류 성능 향상에 기여하였다.
• 워퍼 기반 특징 선택 방법은 모든 분류기에서 높은 분류 정확도를 유지하면서도 특징 공간을 효과적으로 감소시켰다.
• 이중 및 삼중 분류 과제에서 모든 분류기 중에서 MLP 분류기가 정밀도와 재현율 측면에서 SVM 및 나이브 베이즈를 모두 능가하였다.
• 본 연구는 유사한 연구들 중에서 가장 많은 참가자 수(n=40)를 확보하여 결과의 일반화 능력을 향상시켰다.