[논문 리뷰] Spatio-Temporal EEG Representation Learning on Riemannian Manifold and Euclidean Space

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|2020. 08. 19.

EEG and Brain-Computer Interfaces참고 문헌 75인용 수 5

한 줄 요약

이 논문은 대칭 양의 정합(SPD) 공분산 행렬의 리만다만에서 공간적 특징을 학습하고, 리커런트 신경망(LSTM)을 사용한 소프트 어텐션을 통한 유클리드 공간에서의 시간적 특징을 동시에 학습하는 딥러닝 프레임워크를 제안한다. 이 방법은 정서 인식, 경각성 평가, 운동 상상 작업 등에서 SEED-VIG 데이터셋에서 최고 성능을 기록하였고, 다른 세 개의 EEG 데이터셋에서도 경쟁력 있는 결과를 보였다.

ABSTRACT

We present a novel deep neural architecture for learning electroencephalogram (EEG). To learn the spatial information, our model first obtains the Riemannian mean and distance from spatial covariance matrices (SCMs) on a Riemannian manifold. We then project the spatial information onto a Euclidean space via tangent space learning. Following, two fully connected layers are used to learn the spatial information embeddings. Moreover, our proposed method learns the temporal information via differential entropy and logarithm power spectrum density features extracted from EEG signals in a Euclidean space using a deep long short-term memory network with a soft attention mechanism. To combine the spatial and temporal information, we use an effective fusion strategy, which learns attention weights applied to embedding-specific features for decision making. We evaluate our proposed framework on four public datasets across three popular EEG-related tasks, notably emotion recognition, vigilance estimation, and motor imagery classification, containing various types of tasks such as binary classification, multi-class classification, and regression. Our proposed architecture outperforms other methods on SEED-VIG, and approaches the state-of-the-art on the other three datasets (SEED, BCI-IV 2A, and BCI-IV 2B), showing the robustness of our framework in EEG representation learning. The source code of our paper is publicly available at https://github.com/guangyizhangbci/EEG_Riemannian.

연구 동기 및 목표

• 유럽기 메트릭 학습이 EEG 공간 공분산 행렬(SCM)에 적용될 때 발생하는 팽창 효과와 체적 도선에 대한 민감성 등의 문제점을 해결하기 위해.
• 이진/다중 클래스 분류 및 회귀를 포함한 다양한 뇌-기계 인터페이스(BCI) 작업에 일반화 가능한 EEG 표현 학습 프레임워크를 개발하기 위해.
• 분류/회귀 성능 향상을 위해 임베딩 전용 특징에 대한 어텐션 가중치를 학습함으로써 공간적 및 시간적 EEG 표현을 효과적으로 융합하기 위해.
• 공간적 및 시간적 스트림에서의 보완 정보를 활용하여 성능이 열악한 피험자들의 성능을 향상시키기 위해.
• 리만다만 학습의 과제를 해결하기 위해, 특히 SPD 행렬을 유클리드 공간으로의 투영 및 이질적인 표현의 효과적 융합을 위해.

제안 방법

• 다중 채널 EEG 신호로부터 공간 공분산 행렬(SCM)을 계산하여 공간적 뇌 활동을 표현한다.
• 리만 기하학을 통한 공간 정보 학습: SPD 다양체 상에서 SCM 간의 리만 평균과 거리를 계산하여 애핀 불변성과 팽창 효과를 방지한다.
• 타양 공간 학습을 통해 리만 공간 특징을 유클리드 공간으로 투영하여 유클리드 메트릭을 사용하는 후속 딥러닝 처리를 가능하게 한다.
• 연속된 EEG 시간 세그먼트로부터 미분 엔트로피와 로그 파wer 스펙트럼 밀도를 추출하여 시간적 특징을 추출한다.
• 시간적 특징을 처리하기 위해 소프트 어텐션 메커니즘을 갖춘 깊은 장기 단기 기억(LSTM) 네트워크를 사용하여 동적 시간 의존성을 학습한다.
• 분류/회귀 성능 향상을 위해 공간적 및 시간적 임베딩을 학습 가능한 어텐션 기반 융합 전략을 통해 융합한다. 이는 특징에 대한 적응적 가중치를 부여하여 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 기존의 유클리드 방법에 비해 EEG 공간 공분산 행렬에 대한 리만 메트릭 학습이 표현 학습 성능을 향상시키는가?
• RQ2 리만 공간 특징과 유클리드 시간 특징을 융합했을 때 다양한 EEG 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 제안된 어텐션 기반 융합 기법이 단순 연결 또는 원소별 연산에 비해 의사결정 성능 향상에 얼마나 기여하는가?
• RQ4 특히 공간 또는 시간 스트림 성능이 열악한 피험자들에 대해서도 모델이 성능 향상을 이끌어내는가?
• RQ5 이 프레임워크는 정서 인식, 경각성 평가, 운동 상상 분류 등 다양한 EEG 작업에서 최고 또는 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 SEED-VIG 데이터셋에서 경각성 평가 작업에서 새로운 최고 성능를 기록하였으며, 특히 성능이 열악한 피험자들에 대해 뚜렷한 성능 향상을 보였다.
• 정서 인식 작업을 위한 SEED 데이터셋에서, 모델은 최고 성능에 가까운 성능을 기록하였고, 공간 스트림만을 사용한 경우에 비해 가장 성능이 열악한 피험자(번호 7)의 정확도가 22.06% 향상되었고, 두 번째로 성능이 열악한 피험자(번호 1)의 정확도는 16.77% 향상되었다.
• BCI-IV 2a 데이터셋에서, 가장 성능이 열악한 피험자(번호 5)의 정확도가 시간 스트림 대비 38.19% 향상되어 어려운 케이스에서도 강력한 일반화 능력을 입증하였다.
• 학습 가능한 어텐션 기반 융합 전략은 모든 네 개의 데이터셋에서 단순 연결 및 기타 기준 모델을 뛰어넘는 일관된 성능 향상을 보였으며, 이는 이질적인 표현을 융합하는 데 효과적임을 확인시켰다.
• SPD 다양체로의 투영을 통한 SCM의 차원 축소가 성능 향상에 크게 기여하였으며, 이는 리만 학습에서 적절한 다양체 투영의 중요성을 입증한다.
• 이 모델은 이진 분류, 다중 분류, 회귀 등 다양한 작업 유형에서 뛰어난 성능을 보이며, EEG 애플리케이션 영역 전반에 걸쳐 일반화 능력을 입증하였다.