[논문 리뷰] Decoding Human Attentive States from Spatial-temporal EEG Patches Using Transformers

Yi Ding, Joon Hei Lee외 3명|ArXiv.org|2025. 02. 06.

EEG and Brain-Computer Interfaces인용 수 3

한 줄 요약

EEG-PatchFormer는 공간-시간 EEG 특징을 공간-시각 패치로 공동 학습하고 이를 패치하여 Transformer가 주의 상태를 분류하도록 하는 트랜스포머 기반 모델로, 공용 인지 주의 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Learning the spatial topology of electroencephalogram (EEG) channels and their temporal dynamics is crucial for decoding attention states. This paper introduces EEG-PatchFormer, a transformer-based deep learning framework designed specifically for EEG attention classification in Brain-Computer Interface (BCI) applications. By integrating a Temporal CNN for frequency-based EEG feature extraction, a pointwise CNN for feature enhancement, and Spatial and Temporal Patching modules for organizing features into spatial-temporal patches, EEG-PatchFormer jointly learns spatial-temporal information from EEG data. Leveraging the global learning capabilities of the self-attention mechanism, it captures essential features across brain regions over time, thereby enhancing EEG data decoding performance. Demonstrating superior performance, EEG-PatchFormer surpasses existing benchmarks in accuracy, area under the ROC curve (AUC), and macro-F1 score on a public cognitive attention dataset. The code can be found via: https://github.com/yi-ding-cs/EEG-PatchFormer .

연구 동기 및 목표

• EEG로부터 인간의 주의 상태 디코딩을 공간적 및 시간적 dynamics를 함께 모델링하여 동기 부여합니다.
• 시간 축의 교차 뇌 영역 활동을 포착하기 위한 패치 기반 Transformer 아키텍처를 도입합니다.
• 주파수 기반 특징을 추출하고 표현을 강화하며 Transformer 처리를 위한 공간-시간 패치로 정리하는 모듈을 설계합니다.
• 공개 데이터셋에서 기존 EEG 주의 분류 방법 대비 우수한 성능을 보여줍니다.

제안 방법

• Temporal CNN은 EEG 신호로부터 주파수 기반 시간적 특징을 추출합니다.
• 특징 향상: 1x1 합성곱으로 특징 차원을 정제하고 축소합니다.
• Spatial Patching Module은 국부적 및 전역 분기로 공간 패치를 생성합니다.
• Local spatial learner는 뇌 영역 그룹 처리 및 채널 단위 필터링으로 로컬 공간 정보를 학습합니다.
• Global spatial learner는 모든 채널에 대한 최종 CNN으로 글로벌 공간 정보를 학습합니다.
• Temporal Patching Module은 슬라이딩 윈도우를 통해 중첩된 시간 패치를 생성하고 선형 투영합니다.
• 4층 Transformer 인코더가 공간-시간 토큰을 처리하고, 이어서 완전 연결 분류기가 작동합니다.

실험 결과

연구 질문

• RQ1 공간-시간 EEG 패치를 활용한 트랜스포머 기반 모델이 기존 방법 대비 주의 상태 분류를 개선할 수 있는가?
• RQ2 로컬/글로벌 공간 정보와 시간 역학의 공동 학습이 패칭을 통해 디코딩 성능을 향상시키는가?
• RQ3 패치 설계 선택(중첩, 길이)이 분류 지표에 어떤 영향을 미치는가?
• RQ4 EEG-PatchFormer가 공개 주의 데이터셋에서 ACC, AUC, 및 Macro-F1에서 기존 EEG 아키텍처와 비교했을 때 어떤 차이가 있는가?

주요 결과

• EEG-PatchFormer는 비교 대상 베이스라인들 중 평균 ACC가 75.63%로 최고를 기록합니다.
• 평가된 방법들 중 AUC가 85.06%로 최고를 달성합니다.
• Macro-F1 점수도 75.04%로 최상위를 차지합니다.
• Ablation 연구에서 구성 요소(FEM, SPM, OTPM)를 제거하면 특히 SPM이 없을 때 성능 저하가 나타납니다.
• TPM에서 최적의 시간 패치 길이는 20 데이터 포인트로 가장 좋은 메트릭을 제공합니다.
• 전반적으로 본 모델은 ACC, AUC, Macro-F1에서 DGCNN, LGGNet, TSception, ViT를 능가합니다.