[논문 리뷰] Affective State Recognition through EEG Signals Feature Level Fusion and Ensemble Classifier

Md. Mahbubur Rahman, Akash Poddar외 2명|arXiv (Cornell University)|2021. 02. 14.

Emotion and Mood Recognition참고 문헌 11인용 수 5

한 줄 요약

이 연구는 감정 영상 자극 중에 수집된 뇌파 신호에서 통계적 및 고급 스펙트럼 특징을 융합하여 특징 수준의 융합과 앙상블 분류기를 사용한 새로운 정서 상태 인식 프레임워크를 제안한다. 랜덤 포레스트가 앙상블 내 다른 분류기들보다 뛰어난 성능을 보이며, 기쁨, 슬픔, 혐오, 평온함의 네 가지 기본 정서 상태를 89.06%의 정확도로 분류한다.

ABSTRACT

Human affects are complex paradox and an active research domain in affective computing. Affects are traditionally determined through a self-report based psychometric questionnaire or through facial expression recognition. However, few state-of-the-arts pieces of research have shown the possibilities of recognizing human affects from psychophysiological and neurological signals. In this article, electroencephalogram (EEG) signals are used to recognize human affects. The electroencephalogram (EEG) of 100 participants are collected where they are given to watch one-minute video stimuli to induce different affective states. The videos with emotional tags have a variety range of affects including happy, sad, disgust, and peaceful. The experimental stimuli are collected and analyzed intensively. The interrelationship between the EEG signal frequencies and the ratings given by the participants are taken into consideration for classifying affective states. Advanced feature extraction techniques are applied along with the statistical features to prepare a fused feature vector of affective state recognition. Factor analysis methods are also applied to select discriminative features. Finally, several popular supervised machine learning classifier is applied to recognize different affective states from the discriminative feature vector. Based on the experiment, the designed random forest classifier produces 89.06% accuracy in classifying four basic affective states.

연구 동기 및 목표

• 비침습적 뇌파 신호를 이용한 견고한 정서 상태 인식 시스템을 개발하기 위해.
• 자기 보고 및 얼굴 표정 방법의 한계를 극복하기 위해 신경생리학적 신호를 활용하기 위해.
• 고급 특징 융합 및 앙상블 학습 기법을 통해 분류 정확도를 향상시키기 위해.
• 주관적 정서 평가와 관련된 구분 가능한 뇌파 특징을 규명하기 위해.

제안 방법

• 100명의 참가자가 감정 태그가 부여된 1분 분량의 영상 자극을 시청하는 동안 뇌파 신호를 측정하였다.
• 뇌파 신호에서 통계적 및 스펙트럼 특징(예: 델타, 테타, 알파, 베타, 감마 대역의 파wer)을 추출하였다.
• 특징 수준 융합을 통해 다수의 특징 유형을 하나의 구분 가능한 특징 벡터로 통합하였다.
• 차원 감소 및 가장 정보가 풍부한 특징을 선별하기 위해 요인 분석을 적용하였다.
• 다양한 지도 학습 기반 머신 러닝 분류기를 평가하였으며, 최종 앙상블 모델로 랜덤 포레스트를 선택하였다.
• 학습된 앙상블 분류기를 사용하여 융합된 특징 벡터를 기반으로 정서 상태를 분류하였다.

실험 결과

연구 질문

• RQ1 뇌파 신호는 기쁨, 슬픔, 혐오, 평온함과 같은 기본 정서 상태를 신뢰성 있게 캡처하고 구분할 수 있는가?
• RQ2 통계적 및 스펙트럼 뇌파 특징의 특징 수준 융합이 정서 상태 분류 정확도 향상에 얼마나 효과적인가?
• RQ3 뇌파 데이터로부터 다수의 정서 상태를 인식하는 데 있어 어떤 앙상블 분류기가 가장 우수한 성능을 보이는가?
• RQ4 뇌파 주파수 대역 간 상호관계와 주관적 정서 평가 간의 관계가 분류 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 특징 수준 융합 방식은 개별 특징 집합 대비 분류 성능을 크게 향상시켰다.
• 랜덤 포레스트 분류기가 네 가지 기본 정서 상태를 구분하는 데 최고의 정확도 89.06%를 기록하였다.
• 요인 분석을 통해 특징 차원을 감소시키면서도 구분 가능한 정보를 유지하는 데 성공하였다.
• 알파 및 베타 대역의 스펙트럼 파워는 주관적 정서 평가와 강한 상관관계를 보였다.
• 앙상블 모델은 다양한 정서 상태에 걸쳐 뛰어난 강인성과 일반화 능력을 보였다.
• 본 연구는 인간-컴퓨터 상호작용에서 실시간 비침습적 정서 상태 인식의 가능성을 확인하였다.