[논문 리뷰] Fusion of Spatio-Temporal and Multi-Scale Frequency Features for Dry Electrodes MI-EEG Decoding

Tianyi Gong, Can Han외 2명|arXiv (Cornell University)|2026. 01. 26.

EEG and Brain-Computer Interfaces인용 수 0

한 줄 요약

STGMFM은 건식 전극 MI-EEG 디코딩을 위해 이중 순서의 시공간 그래프를 다중 스케일 주파수 엔벨로프 믹서와 융합하는 삼방향 아키텍처를 제시하고 교차 세션/교차 피실험자에서 최첨단 성능을 달성합니다.

ABSTRACT

Dry-electrode Motor Imagery Electroencephalography (MI-EEG) enables fast, comfortable, real-world Brain Computer Interface by eliminating gels and shortening setup for at-home and wearable use.However, dry recordings pose three main issues: lower Signal-to-Noise Ratio with more baseline drift and sudden transients; weaker and noisier data with poor phase alignment across trials; and bigger variances between sessions. These drawbacks lead to larger data distribution shift, making features less stable for MI-EEG tasks.To address these problems, we introduce STGMFM, a tri-branch framework tailored for dry-electrode MI-EEG, which models complementary spatio-temporal dependencies via dual graph orders, and captures robust envelope dynamics with a multi-scale frequency mixing branch, motivated by the observation that amplitude envelopes are less sensitive to contact variability than instantaneous waveforms. Physiologically meaningful connectivity priors guide learning, and decision-level fusion consolidates a noise-tolerant consensus. On our collected dry-electrode MI-EEG, STGMFM consistently surpasses competitive CNN/Transformer/graph baselines. Codes are available at https://github.com/Tianyi-325/STGMFM.

연구 동기 및 목표

• 건식 전극으로 강건한 MI-EEG 디코딩을 동기화 잡음(SNR) 저하, 베이스라인 드리프트, 교차 피험자/세션 가변성 문제에 대해 다루기 위해 동기를 부여한다.
• 스파시오-템포럴 그래프 추론과 엔벨로프 기반 주파수 특징을 결합하는 삼방향 네트워크를 제안한다.
• 생리학적으로 의미 있는 사전 정보(PLV)와 간단한 결합 수준의 융합으로 강건한 일반화 성능을 확보한다.
• 건식 전극 MI-EEG 데이터 세트에서 CNN/Transformer/GCN 기반선보다 우수한 성능을 보여준다.
• 각 구성 요소의 기여에 대한 ablation으로 insight를 제시한다.

제안 방법

• 기능 연결성을 사전으로 인코딩하기 위해 PLV로 초기화된 채널 그래프(A)를 구성한다.
• 두 개의 이중 순서 시공간 분기를 구현한다: CCG → TSG 및 TSG → CCG를 통해 보완적인 증거를 얻는다.
• 진폭 엔벨로프에서 작동하는 다중 스케일 주파수 믹서(C)를 추가하여 다중 스케일에서 ERD/ERS와 같은 dynamics를 포착한다.
• 의사 결정 수준에서 분기 로짓을 가벼운 선형 헤드로 융합하여 강건한 최종 예측을 형성한다(게이팅 없음).
• 그래프 모듈에 대한 L1/L2 정규화와 코사인 어닐링 학습률로 교차 엔트로피 손실을 이용해 학습한다.
• 창(windowed) 슬라이딩 세그먼트를 사용하여 윈도우별 입력을 만들고 트라이얼 간 비교의 안정성을 높인다.

실험 결과

연구 질문

• RQ1 PLV 정보를 가진 학습 가능한 인접 행렬이 건식 전극 MI-EEG 디코딩에서 세션/주체 간에 향상될 수 있는가?
• RQ2 이중 순서의 시공간 그래프가 건식 전극의 노이즈 경로에 상보적인 강건성을 제공하는가?
• RQ3 엔벨로프 역학을 포착하는 다중 스케일 주파수 믹서가 접촉 변동성에 대한 강건성을 향상시키는가?
• RQ4 작은 EEG 데이터 세트에서 다중 분기 표현을 활용하기 위한 의사 결정 수준의 융합이 과적합 없이 충분한가?

주요 결과

• STGMFM은 23채널 건식 EEG MI-EEG 데이터 세트에서 세 가지 평가 프로토콜에 걸쳐 CNN/Transformer/GCN 기반선보다 우수한 성능을 보인다.
• ablation 결과 전체 모델(이중 그래프 순서 + MFM + PLV 초기화 및 규제)이 최상의 교차 주체 성능(ACC 57.26%, kappa 0.3592, F1 56.52%)을 제공한다.
• 이중 그래프 순서는 보완적인 유도 편향을 제공하여 건식 EEG의 노이즈 전파를 감소시킨다.
• 다중 스케일 주파수 믹서는 건식 전극 환경에서 ERD/ERS와 유사한 엔벨로프 패턴을 효과적으로 복구한다.
• 정규화 및 코사인 어닐링 학습은 과적합을 방지하고 주체/세션 간 일반화를 촉진한다.