[논문 리뷰] Deep brain state classification of MEG data

Ismail Alaoui Abdellaoui, Jesús García Fernández외 2명|arXiv (Cornell University)|2020. 07. 02.

EEG and Brain-Computer Interfaces참고 문헌 31인용 수 4

한 줄 요약

이 논문은 인간 연결도 프로젝트(MMP)의 MEG 데이터를 사용하여 다중 주제 간 다중 클래스 뇌 상태 분류를 위한 세 가지 딥 러닝 아키텍처—AA-CascadeNet, AA-MultiviewNet, 그리고 주목사용 콘볼루션 네트워크(CNN)—를 제안한다. 컨볼루션 및 LSTM 기반 모델에 자기주목(self-attention) 및 글로벌 주목(global attention) 메커니즘을 통합함으로써 일반화 능력이 향상되고 최대 94%의 정확도를 달성하며, 도메인 특화 특징 공학 없이도 주제 간에 우수한 성능과 강건성을 보여준다.

ABSTRACT

Neuroimaging techniques have shown to be useful when studying the brain's activity. This paper uses Magnetoencephalography (MEG) data, provided by the Human Connectome Project (HCP), in combination with various deep artificial neural network models to perform brain decoding. More specifically, here we investigate to which extent can we infer the task performed by a subject based on its MEG data. Three models based on compact convolution, combined convolutional and long short-term architecture as well as a model based on multi-view learning that aims at fusing the outputs of the two stream networks are proposed and examined. These models exploit the spatio-temporal MEG data for learning new representations that are used to decode the relevant tasks across subjects. In order to realize the most relevant features of the input signals, two attention mechanisms, i.e. self and global attention, are incorporated in all the models. The experimental results of cross subject multi-class classification on the studied MEG dataset show that the inclusion of attention improves the generalization of the models across subjects.

연구 동기 및 목표

• 도메인 특화 특징 공학에 의존하지 않고 MEG 데이터로부터 뇌 상태를 디코딩할 수 있는 엔드 투 엔드 딥 러닝 모델을 개발하는 것.
• 특히 자기주목과 글로벌 주목 메커니즘이 주제 간 일반화 능력 향상에 얼마나 효과적인지 조사하는 것.
• 신호 특성의 차이에도 불구하고 EEG 기반 딥 러닝 아키텍처가 MEG 데이터로 얼마나 잘 전이 가능한지 탐색하는 것.
• 다양한 훈련 데이터 크기와 주제 수에서 모델 성능을 평가하여 강건성과 확장성 평가하는 것.

제안 방법

• 1D 컨볼루션 레이어, 양방향 LSTMs, 그리고 다중 헤드 자기주목을 포함한 주목사용 컨볼루션 블록을 결합한 하이브리드 아키텍처인 AA-CascadeNet을 제안한다.
• 공간적 및 시간적 특징을 두 개의 병렬 브랜치에서 추출하고, 초기 융합과 주목 메커니즘을 통해 특징을 융합하는 다중 스트림 네트워크인 AA-MultiviewNet을 도입한다.
• 지역적 컨볼루션 특징 추출과 글로벌 자기주목을 결합하여 MEG 신호의 장거리 의존성을 포착하는 주목사용 컨볼루션 모듈을 사용한다.
• 자기주목과 글로벌 주목 메커니즘을 동시에 적용한다: 자기주목은 시간 스텝 간 쿼리-키-밸류 상호작용을 계산하고, 글로벌 주목은 LSTM 출력에서 중요한 시간 세그먼트에 집중한다.
• 모든 모델에서 휴리스틱 연결(residual connection)과 배치 정규화를 사용하여 훈련 안정성과 기울기 흐름 향상을 도모한다.
• 교차 엔트로피 손실과 Adam 최적화를 사용하여 모든 모델을 엔드 투 엔드로 훈련하고, 검증 손실 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 주목 메커니즘을 갖춘 딥 네트워크가 MEG 기반 뇌 상태의 주제 간 분류 성능를 얼마나 향상시킬 수 있는가?
• RQ2 자기주목과 글로벌 주목의 통합이 미지 주제에 대한 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ3 신호 해상도와 노이즈 특성의 차이에도 불구하고 제안된 아키텍처가 EEG 기반 모델에서 MEG 데이터로 잘 전이되는가?
• RQ4 훈련 데이터의 양(주제 수)이 모델 성능와 안정성에 어떤 영향을 미치는가?
• RQ5 자기주목과 글로벌 주목 중 어느 메커니즘이 분류 정확도 향상과 특징 해석 가능성 향상에 더 크게 기여하는가?

주요 결과

• 자기주목과 글로벌 주목 메커니즘을 모두 통합함으로써 모델의 일반화 능력이 크게 향상되었으며, 최고 성능을 보인 모델은 다중 시점 아키텍처에서 94%의 정확도를 달성했다.
• 두 가지 주목 메커니즘을 통합한 AA-MultiviewNet은 최고의 정확도(94%)와 가장 낮은 표준편차(6%)를 기록하여 다양한 훈련 설정에서도 높은 일관성을 보였다.
• 주목 메커니즘을 통합한 모델은 깊이가 증가함에 따라 특징 맵의 유지 능력이 향상되어 MEG 신호에서 다이아몬드 형태의 공간 패턴을 잘 유지했다.
• 글로벌 주목 가중치 분석 결과, 네트워크가 시간 스트림에서 특정 시간 스텝(예: 입력 1, 3, 4, 7, 8)에 더 집중함을 확인하여 중요한 신호 세그먼트를 선택적으로 주목하는 것으로 나타났다.
• 주목 기반 모델은 깊이가 증가함에 따라 더 풍부하고 정보가 풍부한 표현을 유지하는 반면, 주목이 없는 모델은 특징 맵이 점점 더 흐릿해지고 흐릿해졌다.
• 주목 기반 성능 향상은 더 큰 훈련 세트에서 가장 두드러졌으며, 이는 주목 기반 모델이 충분한 데이터가 제공될 경우 강건하고 일반화 가능한 표현을 효과적으로 학습할 수 있음을 시사한다.