[논문 리뷰] RFNet: Riemannian Fusion Network for EEG-based Brain-Computer Interfaces.

Guangyi Zhang, Sadegh Etemad|arXiv (Cornell University)|2020. 08. 19.

EEG and Brain-Computer Interfaces참고 문헌 63인용 수 13

한 줄 요약

RFNet은 공간적 뇌전도영역(EEG) 특징을 리만다운 다양체 상의 대칭정부정행렬을 통해 통합하고, 미분 엔트로피와 파wer 스펙트럼 밀도를 통해 유도된 시간적 특징을 활용하여, 소프트 어텐션을 갖춘 장기단기기억(LSTM)을 사용한 시간 모델링과 학습 가능한 융합 기법을 통해 EEG 기반 뇌기반인터페이스(BCI) 성능을 향상시키는 리만다운 융합 네트워크이다. 이는 감정 인식, 경각성 평가, 운동상상 분류 등 다양한 과제에서 네 개의 공개 BCI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper presents the novel Riemannian Fusion Network (RFNet), a deep neural architecture for learning spatial and temporal information from Electroencephalogram (EEG) for a number of different EEG-based Brain Computer Interface (BCI) tasks and applications. The spatial information relies on Spatial Covariance Matrices (SCM) of multi-channel EEG, whose space form a Riemannian Manifold due to the Symmetric and Positive Definite structure. We exploit a Riemannian approach to map spatial information onto feature vectors in Euclidean space. The temporal information characterized by features based on differential entropy and logarithm power spectrum density is extracted from different windows through time. Our network then learns the temporal information by employing a deep long short-term memory network with a soft attention mechanism. The output of the attention mechanism is used as the temporal feature vector. To effectively fuse spatial and temporal information, we use an effective fusion strategy, which learns attention weights applied to embedding-specific features for decision making. We evaluate our proposed framework on four public datasets from three popular fields of BCI, notably emotion recognition, vigilance estimation, and motor imagery classification, containing various types of tasks such as binary classification, multi-class classification, and regression. RFNet approaches the state-of-the-art on one dataset (SEED) and outperforms other methods on the other three datasets (SEED-VIG, BCI-IV 2A, and BCI-IV 2B), setting new state-of-the-art values and showing the robustness of our framework in EEG representation learning.

연구 동기 및 목표

• 다양한 BCI 과제를 위해 공간적 및 시간적 EEG 패tern을 효과적으로 포착하는 딥러닝 프레임워크를 개발하는 것.
• 대칭정부정공분산행렬을 통한 리만기하학을 활용해 공간적 EEG 특징을 모델링하는 것.
• 시간 창을 기반으로 한 미분 엔트로피와 로그 파워 스펙트럼 밀도를 사용해 동적 뇌 활동을 포착하는 시간적 특징을 추출하는 것.
• 학습 가능한 어텐션 기반 융합 기법을 통해 공간적 및 시간적 표현을 융합하여 의사결정 성능을 향상시키는 것.
• 이중, 다중 클래스, 회귀 문제를 포함한 다양한 BCI 과제에 대해 다양한 데이터셋에서 프레임워크를 평가하는 것.

제안 방법

• 공간적 EEG 특징은 대칭정부정성분공분산행렬(Spatial Covariance Matrices, SCM)으로 추출되며, 이는 대칭성과 정부정성으로 인해 리만다운 다양체를 이룬다.
• 리만다운 신경망은 SCM을 후속 처리를 위한 유클리드 공간으로 매핑하며 기하학적 구조를 유지한다.
• 시간적 특징은 시간 창을 기반으로 한 미분 엔트로피와 로그 파워 스펙트럼 밀도를 사용해 계산되며, 동적 뇌 활동을 포착한다.
• 딥 러닝 장기단기기억(LSTM) 네트워크는 시간적 특징을 처리하고 소프트 어텐션 기반 메커니즘을 통해 맥락적 표현을 생성한다.
• 어텐션 기반 메커니즘은 관련 있는 시간 세그먼트에 중점을 두어 가중치가 부여된 시간적 특징 벡터를 생성한다.
• 학습 가능한 융합 전략은 각 특징 임베딩에 대한 어텐션 가중치를 학습하여 공간적 및 시간적 임베딩을 융합하고 최종 의사결정 예측을 수행한다.

실험 결과

연구 질문

• RQ1 표준 유클리드 방법에 비해 공간적 EEG 표현에 리만다운 접근법을 적용할 경우 BCI 과제 성능 향상에 기여할 수 있는가?
• RQ2 미분 엔트로피와 파워 스펙트럼 밀도 기반 시간적 특징이 EEG에서 동적 뇌 상태를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 공간적 및 시간적 특징의 학습 가능한 어텐션 기반 융합이 다양한 BCI 과제에서 일반화 능력을 향상시키는가?
• RQ4 제안된 RFNet 프레임워크는 감정 인식, 경각성 평가, 운동상상 등 다양한 EEG 기반 BCI 응용 분야에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 다양한 과제 유형과 데이터 특성을 가진 데이터셋에 적용했을 때 RFNet 아키텍처의 견고성은 어떠한가?

주요 결과

• 감정 인식 과제에서 SEED 데이터셋에서 RFNet은 최신 기술 수준 성능을 달성하며 새로운 기준을 설정하였다.
• 경각성 평가 과제에서 SEED-VIG 데이터셋에서 RFNet은 비교된 모든 방법보다 뛰어난 회귀 정확도를 보이며 우수한 성능을 입증하였다.
• BCI-IV 2A 및 2B 데이터셋에서의 운동상상 분류 과제에서 RFNet은 기존 최신 기술 수준 모델보다 높은 분류 정확도를 달성하였다.
• 제안된 리만다운 융합 기법은 공간적 및 시간적 EEG 표현을 효과적으로 융합하여 다양한 BCI 과제에서 모델의 견고성을 향상시켰다.
• 어텐션 기반 시간 모델링은 중요한 시간 세그먼트를 포착하여 특징의 구분 능력과 일반화 능력을 향상시켰다.
• 이 프레임워크는 양자, 다중 클래스, 회귀 과제를 포함한 다양한 EEG 데이터 유형에서 강력한 일반화 능력을 보였다.