[논문 리뷰] Modeling Multivariate Biosignals With Graph Neural Networks and Structured State Space Models

Siyi Tang, Jared Dunnmon외 5명|arXiv (Cornell University)|2022. 11. 21.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 논문은 구조적 상태공간 모델(S4)과 동적 그래프 구조 학습을 결합한 새로운 그래프 신경망 아키텍처인 GraphS4mer을 제안한다. 이는 고주파수 다변량 생체신호에서 장거리 시간적 의존성과 복잡한 공간적 의존성을 모델링하는 데 목적이 있다. 이 방법은 원시 생체신호에서 시간적 동역학과 변화하는 공간 상관관계를 동시에 포착함으로써, 세 가지 생체신호 분류 과제—간질 감지(3.1 AUROC 향상), 수면 단계 분류(4.1 매크로-F1 향상), 심전도 분류(2.7 매크로-F1 향상)—에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multivariate biosignals are prevalent in many medical domains, such as electroencephalography, polysomnography, and electrocardiography. Modeling spatiotemporal dependencies in multivariate biosignals is challenging due to (1) long-range temporal dependencies and (2) complex spatial correlations between the electrodes. To address these challenges, we propose representing multivariate biosignals as time-dependent graphs and introduce GraphS4mer, a general graph neural network (GNN) architecture that improves performance on biosignal classification tasks by modeling spatiotemporal dependencies in biosignals. Specifically, (1) we leverage the Structured State Space architecture, a state-of-the-art deep sequence model, to capture long-range temporal dependencies in biosignals and (2) we propose a graph structure learning layer in GraphS4mer to learn dynamically evolving graph structures in the data. We evaluate our proposed model on three distinct biosignal classification tasks and show that GraphS4mer consistently improves over existing models, including (1) seizure detection from electroencephalographic signals, outperforming a previous GNN with self-supervised pre-training by 3.1 points in AUROC; (2) sleep staging from polysomnographic signals, a 4.1 points improvement in macro-F1 score compared to existing sleep staging models; and (3) 12-lead electrocardiogram classification, outperforming previous state-of-the-art models by 2.7 points in macro-F1 score.

연구 동기 및 목표

• 고밀도 샘플링 레이트를 가진 생체신호(예: EEG, ECG, 다중수면도기)에서 장거리 시간적 의존성을 모델링하는 데 도전하는 것.
• 개인 간 및 시간에 따라 변화하는 센서 간 비유클리드 공간 상관관계를 포착하는 것.
• 고정되거나 사전 정의된 그래프 구조에 의존하지 않고, 공간-시간 동역학을 통합적으로 모델링하는 유일한 딥러닝 프레임워크를 개발하는 것.
• 구조적 상태공간 모델(S4)을 엔드 투 엔드 미분 가능한 그래프 구조 학습과 통합하여 생체신호 분류 과제 성능을 향상시키는 것.

제안 방법

• 모델은 각 센서의 시계열 데이터에서 장거리 시간적 의존성을 독립적으로 캡처하기 위해 스택된 S4 레이어를 사용한다.
• 그래프 구조 학습(GSL) 레이어는 S4로 인코딩된 표현에서 시간에 따라 변화하는 인접 행렬을 동적으로 학습하여 적응형 공간 모델링을 가능하게 한다.
• 학습된 동적 그래프는 메시지 전파를 통해 센서 간 공간 상관관계를 모델링하기 위해 GNN 레이어에 입력된다.
• 모델은 미분 가능한 S4 모듈과 자기주의 기반 GSL 레이어를 사용하여 엔드 투 엔드로 훈련되며, 이는 다양한 시간 해상도에서 여러 개의 동적 그래프를 생성한다.
• GSL 레이어의 해상도 설정(r)을 다양하게 조정하여 평가하며, r은 시퀀스당 동적 그래프의 수를 제어한다.
• 프레임워크는 공개된 데이터셋을 사용하여 세 가지 생체신호 과제에 적용된다: 간질 감지(TUSZ), 수면 단계 분류(DOD-H), 12 leads 심전도 분류(ICBEB).

실험 결과

연구 질문

• RQ1 사전 처리나 윈도잉 없이도 고해상도 생체신호에서 장거리 시간적 의존성을 효과적으로 캡처할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 엔드 투 엔드로 가능한 그래프 구조 학습이 센서 배치가 다양하거나 시간에 따라 변화하는 생체신호의 공간 모델링에 어떻게 기여하는가?
• RQ3 구조적 상태공간 모델(S4)과 동적 그래프 학습을 결합한 모델이 기존 GNN 및 시퀀스 모델보다 생체신호 분류 과제에서 얼마나 뛰어난 성능을 내는가?
• RQ4 그래프 구조 학습 레이어의 다양한 시간 해상도 설정(r)이 모델 성능과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• TUSZ EEG 간질 감지 데이터셋에서 GraphS4mer는 이전 최신 기술 수준(SOTA) GNN 모델보다 AUROC가 3.1점 향상되어 85.6에서 88.7로 상승했다.
• DOD-H 다중수면도기 데이터셋에서 GraphS4mer는 매크로-F1 점수를 4.1점 향상시켜 72.3에서 76.4로 향상시켰으며, 기존 수면 단계 분류 모델을 초월했다.
• ICBEB 12-lead 심전도 분류 과제에서 GraphS4mer는 이전 최신 기술 수준 모델보다 매크로-F1 점수를 2.7점 향상시켜 78.9에서 81.6으로 상승시켰다.
• 그래프 구조 학습 레이어는 총 파라미터 수의 약 12%인 약 33,000개의 파라미터만 추가했으며, 동적 그래프 수에 비례하여 MACs가 증가했고, 해상도 r이 감소할 경우 추가 파라미터가 없었다.
• 학습된 그래프의 시각화 결과에서 생물학적으로 타당한 패턴을 확인할 수 있었다: 근전도(EMG)는 REM 수면 기간에 약한 연결성을 보였고, LBBB 심전도는 정상 심전도와 비교해 가장 큰 공간적 그래프 차이를 보였다.
• 모델은 다양한 길이의 심전도 시퀀스에서도 강력한 성능 유지를 보였으며, r = T/10 해상도에서 결과를 보고하여 입력 길이 변화에 대한 강건성을 입증했다.