[논문 리뷰] Integrating EEG and MEG signals to improve motor imagery classification in brain-computer interfaces

Marie‐Constance Corsi, Mario Chávez외 5명|arXiv (Cornell University)|2017. 11. 20.

EEG and Brain-Computer Interfaces참고 문헌 51인용 수 3

한 줄 요약

이 연구는 비침습적 뇌-컴퓨터 인터페이스(BCI)에서 운동 상상 분류 성능을 향상시키기 위해 동시에 기록된 EEG와 MEG 신호를 융합하는 프레임워크를 제안한다. 각 모odal의 특징을 적응적으로 조합하는 가중 일치 점수 융합 방식을 사용함으로써, 특히 알파 및 베타 주파수 대역에서 분류 정확도가 크게 향상되었으며, 15명의 건강한 피험자 중 13명에서 단일 모달리티인 EEG 또는 MEG만을 사용하는 것보다 성능 향상이 확인되었다.

ABSTRACT

We propose a fusion approach that combines features from simultaneously recorded electroencephalographic (EEG) and magnetoencephalographic (MEG) signals to improve classification performances in motor imagery-based brain-computer interfaces (BCIs). We applied our approach to a group of 15 healthy subjects and found a significant classification performance enhancement as compared to standard single-modality approaches in the alpha and beta bands. Taken together, our findings demonstrate the advantage of considering multimodal approaches as complementary tools for improving the impact of non-invasive BCIs.

연구 동기 및 목표

• 운동 상상 기반 BCI에서 낮은 분류 성능 문제, 특히 BCI 비응답자에게서 발생하는 문제를 해결하기 위해.
• EEG와 MEG라는 두 가지 상보적인 뇌영상 기법을 융합함으로써 단일 모달리티 접근 방식을 초월해 BCI 성능을 향상시킬 수 있는지 조사하기 위해.
• 개별 신호 품질과 피험자별 신경 동역학에 기반해 EEG와 MEG 기여도를 동적으로 가중 조정하는 강력하고 적응형 융합 전략을 개발하고 평가하기 위해.
• BCI 초보자 사용자와 최적화되지 않은 환경을 시뮬레이션하는 현실적인 조건에서 이러한 다중 모달 융합의 실현 가능성을 평가하기 위해.

제안 방법

• 15명의 건강하고 오른손잡이인 피험자에서 운동 상상 작업 중에 고밀도 EEG(74채널)와 MEG(306채널)를 동시에 기록하였다.
• 이벤트 관련 탈감소(ERD)에 초점을 맞춰 알파(8–13 Hz) 및 베타(13–30 Hz) 주파수 대역에서 EEG 및 MEG 신호의 시간-주파수 특징을 추출하였다.
• 학습 가능한 가중치 파rameter λi에 기반해 개별적 신호 신뢰도에 따라 각 모달리티의 기여도를 동적으로 조정하는 가중 일치 점수 융합 방식을 적용하였다.
• 기본 분류기로 선형판별분석(LDA)을 사용하였으며, 융합은 모달리티별 분류 출력을 결합하는 점수 수준에서 수행되었다.
• 500ms 에포크를 기반으로 오프라인으로 융합 프레임워크를 학습하고 평가하였으며, 계산 지연은 약 ~20ms/에포크로 추정되어 실시간 BCI 피드백 주기와 호환 가능하였다.
• 개별 피험자별 특징 가중치(λi)를 분석하여 모달리티 지배도와 피험자 간 변동성을 평가하였다.

실험 결과

연구 질문

• RQ1 EEG와 MEG 신호의 통합이 단일 모달리티 접근 방식에 비해 운동 상상 분류 성능을 향상시킬 수 있는가?
• RQ2 EEG와 MEG의 상대적 기여도는 개인 간에 어떻게 달라지며, 이러한 변동성에 영향을 주는 요인은 무엇인가?
• RQ3 제안된 융합 프레임워크는 BCI 초보자 사용자와 최적화되지 않은 기록 조건에서 실현 가능한 성능 향상을 유지하는가?
• RQ4 이 융합 방법은 실시간 BCI 응용에 충분히 계산 효율적인가?
• RQ5 EEG와 MEG 모달리티 간에 결합된 알파 및 베타 대역 ERD는 분류 성능 향상에 어떤 역할을 하는가?

주요 결과

• EEG와 MEG 신호의 융합은 15명의 피험자 중 13명에서 분류 성능을 유의미하게 향상시켰으며, 특히 알파 및 베타 주파수 대역에서 두드러진 효과를 보였다.
• ROC 곡선 아래 면적(AUC)의 평균이 융합으로 인해 향상되었으며, 성능 향상에 있어 상당한 피험자 간 변동성이 관찰되었다.
• 융합 프레임워크는 모달리티 가중치(λi)를 적응적으로 조정하였으며, EEG와 MEG의 상대적 기여도에 있어 높은 피험자 간 변동성이 확인되어 개인 간 신호 탐지 가능성의 차이를 시사하였다.
• 융합 파이프라인의 계산 지연은 약 500ms 에포크당 20ms로 추정되어 실시간 BCI 피드백 시스템과 호환 가능하였다.
• 사전 처리 없이도 BCI 초보자 사용자와 최적화되지 않은 신호 품질을 가진 현실적인 환경에서 뛰어난 내성성을 보였다.
• 감마 대역 활동에는 유의미한 향상이 없었으며, 이는 두피 기록된 신호에서 신호 대 잡음 비율이 낮고 체적 도달 효과가 영향을 미친 탓으로 보인다.