[논문 리뷰] Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition

Xun Wu, Wei‐Long Zheng외 1명|arXiv (Cornell University)|2020. 04. 04.

EEG and Brain-Computer Interfaces인용 수 11

한 줄 요약

이 논문은 다중모달 정서 인식을 위한 새로운 EEG 기반 기능적 연결성 분석 프레임워크를 제안한다. 정서 관련 핵심 하위망에서 유도된 강도, 군집 계수, 고유벡터 중심성 특징을 사용한다. 강도 특징은 최신 단일 채널 방법보다 뛰어난 성능를 보이며, 눈동자 움직임 데이터와의 다중모달 융합을 통해 SEED 데이터셋에서 95.08%의 정확도를 달성하여, 저채널 설정(18채널)이 실생활 정서적 BCI 응용에 있어 상호보완적 표현과 실현 가능성을 입증한다.

ABSTRACT

Compared with the rich studies on the motor brain-computer interface (BCI), the recently emerging affective BCI presents distinct challenges since the brain functional connectivity networks involving emotion are not well investigated. Previous studies on emotion recognition based on electroencephalography (EEG) signals mainly rely on single-channel-based feature extraction methods. In this paper, we propose a novel emotion-relevant critical subnetwork selection algorithm and investigate three EEG functional connectivity network features: strength, clustering coefficient, and eigenvector centrality. The discrimination ability of the EEG connectivity features in emotion recognition is evaluated on three public emotion EEG datasets: SEED, SEED-V, and DEAP. The strength feature achieves the best classification performance and outperforms the state-of-the-art differential entropy feature based on single-channel analysis. The experimental results reveal that distinct functional connectivity patterns are exhibited for the five emotions of disgust, fear, sadness, happiness, and neutrality. Furthermore, we construct a multimodal emotion recognition model by combining the functional connectivity features from EEG and the features from eye movements or physiological signals using deep canonical correlation analysis. The classification accuracies of multimodal emotion recognition are 95.08/6.42% on the SEED dataset, 84.51/5.11% on the SEED-V dataset, and 85.34/2.90% and 86.61/3.76% for arousal and valence on the DEAP dataset, respectively. The results demonstrate the complementary representation properties of the EEG connectivity features with eye movement data. In addition, we find that the brain networks constructed with 18 channels achieve comparable performance with that of the 62-channel network in multimodal emotion recognition and enable easier setups for BCI systems in real scenarios.

연구 동기 및 목표

• 정서적 BCI 시스템에서 정서 관련 뇌 기능적 연결성 네트워크에 대한 연구 부족을 해결하기 위해.
• EEG 기능적 연결성 특징—강도, 군집 계수, 고유벡터 중심성—의 정서 인식에 대한 분류 능력을 평가하기 위해.
• 다양한 정서 상태 간의 핵심 연결 패턴을 식별하기 위해 정서 관련 핵심 하위망 선택 알고리즘을 개발하기 위해.
• EEG 기능적 연결성과 눈동자 움직임 또는 생리적 신호를 융합하여 다중모달 정서 인식 성능을 향상시키기 위해.
• 실생활 정서적 BCI 응용에 적합한 저채널 EEG 설정(예: 18채널)의 실현 가능성을 평가하기 위해.

제안 방법

• 세 단계의 핵심 하위망 선택 알고리즘을 적용: 참가자 간 평균화, 유의미한 연결을 유지하기 위한 임계값 설정, 다양한 정서와 주파수 대역 간 연결 통합.
• EEG 신호 간 상관계수를 사용하여 기능적 연결성을 계산하고, 주파수 대역(δ, θ, α, β, γ) 별로 뇌 네트워크를 구성한다.
• 세 가지 네트워크 수준의 특징을 추출한다: 강도(노드당 연결 가중치의 합), 군집 계수(로컬 네트워크 밀도), 고유벡터 중심성(연결된 이웃의 중요성 기반 노드 중요도).
• 딥 캐나니컬 상관계수 분석(DCCA) 모델을 사용하여 EEG 연결성 특징과 눈동자 움직임 또는 생리적 신호를 융합하여 정서 인식 성능을 향상시킨다.
• 모델의 안정성 확보를 위해 삼중 교차검증 전략을 사용하여 교차검증을 수행한다.
• 실제 적용 시 성능 저하 여부를 평가하기 위해 18채널 EEG 설정을 전체 62채널 설정과 비교한다.

실험 결과

연구 질문

• RQ1 불쾌, 두려움, 슬픔, 기쁨, 중립성 등의 다른 정서 상태에 대해 EEG 네트워크에서 구분 가능한 기능적 연결성 패턴이 존재하는가?
• RQ2 정서 인식에 있어 가장 높은 분류 정확도를 제공하는 EEG 기능적 연결성 특징은 강도, 군집 계수, 고유벡터 중심성 중 어느 것인가?
• RQ3 눈동자 움직임 데이터와의 EEG 연결성 특징 융합이 단일모달 접근법보다 정서 인식 성능을 향상시킬 수 있는가?
• RQ4 다중모달 정서 인식에서, 전체 62채널 설정과 비교하여 성능을 유사하게 유지할 수 있는 저채널 EEG 설정(18채널)의 성능 유지 범위는 어느 정도인가?

주요 결과

• 강도 특징이 세 가지 연결성 특징 중에서 가장 높은 분류 성능를 보였으며, 단일 채널 분석에서 최신 기준인 차분 엔트로피 특징을 초월했다.
• EEG 연결성 특징과 눈동자 움직임 데이터를 융합한 다중모달 정서 인식은 SEED 데이터셋에서 95.08% ± 6.42%의 정확도, SEED-V 데이터셋에서 84.51% ± 5.11%의 정확도, DEAP 데이터셋에서는 각각 각각의 각성도(85.34% ± 2.90%)와 정서 평가도(86.61% ± 3.76%)에서 높은 성능를 기록했다.
• 다양한 정서와 주파수 대역 간에 명확한 기능적 연결성 패턴이 관찰되었다. 예를 들어, δ 대역에서 불쾌와 두려움 정서 상태에서는 전두엽에서 강한 양성 연결성이 관찰되었고, 두려움은 불쾌보다 γ 대역에서 더 많은 음성 연결성을 보였다.
• 18채널 EEG에서 구성된 뇌 네트워크가 62채널 설정과 유사한 성능를 보였으며, 이는 실용적이고 저비용의 BCI 시스템에 대한 실현 가능성을 시사한다.
• 결과는 EEG 기능적 연결성 특징과 눈동자 움직임 데이터가 상호보완적이며, 전체 정서 인식 정확도 향상에 기여함을 확인한다.
• 슬픔과 중립 정서 간의 혼동은 특히 δ 및 θ 대역에서 유사한 연결성 패턴을 보이며, 이는 이전 신경영상 연구 결과와 일치한다.