[논문 리뷰] Epileptic Seizure Classification with Symmetric and Hybrid Bilinear Models

Tennison Liu, Nhan Duy Truong외 3명|arXiv (Cornell University)|2020. 01. 15.

EEG and Brain-Computer Interfaces참고 문헌 32인용 수 5

한 줄 요약

이 논문은 표면 뇌전도도(sEEG) 신호에서 1초 분량의 신호를 대상으로 단기 푸리에 변환(STFT) 특징을 사용하여 간질 발작 유형을 분류하기 위해 혼합형 이중선형 딥 러닝 모델을 제안한다. 이 모델은 컨volutional 신경망(CNNs)과 순환 신경망(RNNs)을 결합한 것으로, 템플 대학교 병원(TUH) 데이터셋에서 97.4%의 최고 수준의 F1 스코어를 기록하였고, EPILEPSIAE 데이터셋에서는 97.2%의 성능을 보이며, 최소한의 특징 공학을 통해 다양한 데이터셋에 대해 뛰어난 성능과 일반화 능력을 입증하였다.

ABSTRACT

Epilepsy affects nearly 1% of the global population, of which two thirds can be treated by anti-epileptic drugs and a much lower percentage by surgery. Diagnostic procedures for epilepsy and monitoring are highly specialized and labour-intensive. The accuracy of the diagnosis is also complicated by overlapping medical symptoms, varying levels of experience and inter-observer variability among clinical professions. This paper proposes a novel hybrid bilinear deep learning network with an application in the clinical procedures of epilepsy classification diagnosis, where the use of surface electroencephalogram (sEEG) and audiovisual monitoring is standard practice. Hybrid bilinear models based on two types of feature extractors, namely Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), are trained using Short-Time Fourier Transform (STFT) of one-second sEEG. In the proposed hybrid models, CNNs extract spatio-temporal patterns, while RNNs focus on the characteristics of temporal dynamics in relatively longer intervals given the same input data. Second-order features, based on interactions between these spatio-temporal features are further explored by bilinear pooling and used for epilepsy classification. Our proposed methods obtain an F1-score of 97.4% on the Temple University Hospital Seizure Corpus and 97.2% on the EPILEPSIAE dataset, comparing favourably to existing benchmarks for sEEG-based seizure type classification. The open-source implementation of this study is available at https://github.com/NeuroSyd/Epileptic-Seizure-Classification

연구 동기 및 목표

• 겹치는 증상, 관찰자 간 변동성, 신경과 전문의의 수 부족으로 인한 정확하지도 않고 시간이 오래 소요되는 간질 발작 유형의 수동 진단 문제를 해결하기 위해.
• sEEG 및 오디오비주얼 모니터링 데이터를 활용하여 정확도, 속도, 신뢰성을 향상시킬 수 있는 자동화된 딥 러닝 기반 시스템을 개발하기 위해.
• CNN과 RNN이 추출한 공간-시간 특징 간의 상호작용을 모델링하기 위해 이중선형 풀링의 효과를 탐색하기 위해.
• 다양한 크기와 발작 유형 분포를 가진 데이터셋 간의 일반화 능력을 평가하기 위해.
• 최소한의 특징 공학을 통해 sEEG 기반 발작 분류의 새로운 기준을 설정하기 위해.

제안 방법

• 단기 푸리에 변환(STFT)을 사용하여 1초 분량의 sEEG 신호를 딥 러닝 모델의 입력으로 사용 가능한 스펙트로그램 유사 표현으로 변환한다.
• 두 개의 스트림 인코더를 결합한 하이브리드 아키텍처를 사용한다: CNN은 국소적인 공간-시간 패턴을 추출하고, RNN은 동일한 입력의 장기적 시간 동역학을 모델링한다.
• 이중선형 풀링을 적용하여 CNN 및 RNN 스트림의 특징 맵 간의 이차 상호작용을 계산함으로써, 공간적 및 시간적 특징 간의 복잡한 비선형 관계를 포착한다.
• 결과적으로 생성된 이중선형 특징은 분류기로 전달되어 엔드 투 엔드 학습 및 추론을 가능하게 하며, 유사한 EEG 아티팩트가 존재하는 상황에서도도 구별 가능한 학습이 가능하다.
• 모델은 두 개의 공개 데이터셋인 템플 대학교 병원 간질 코퍼스(TUH)와 EPILEPSIAE 데이터셋에서 학습 및 평가된다.
• 프레임워크는 모듈식이며 확장 가능하여, 향후 다른 특징 추출기나 다중모odal 데이터 통합이 가능하다.

실험 결과

연구 질문

• RQ1 CNN과 RNN 스트림 인코더를 결합한 하이브리드 이중선형 모델이 단일 스트림 모델 대비 간질 발작 유형 분류 성능을 향상시킬 수 있는가?
• RQ2 공간적 및 시간적 특징의 이중선형 풀링이 유사한 EEG 패턴(예: 다른 발작 유형 또는 아티팩트) 간의 분류 성능 향상에 기여하는가?
• RQ3 다양한 크기와 발작 유형 분포를 가진 데이터셋 간에 제안된 하이브리드 이중선형 모델의 일반화 능력은 얼마나 뛰어나게 나타나는가?
• RQ4 대칭 이중선형 및 단일 스트림 아키텍처 대비 하이브리드 모델의 성능 향상이 통계적으로 유의미한가?
• RQ5 특히 EPILEPSIAE와 같이 작은 데이터셋에서도 최소한의 특징 공학으로 높은 정확도를 달성할 수 있는가?

주요 결과

• 하이브리드 이중선형 모델은 템플 대학교 병원(TUH) 간질 코퍼스에서 F1 스코어 97.4%를 기록하여 sEEG 기반 발작 분류의 새로운 기준을 설정하였다.
• 더 작은 EPILEPSIAE 데이터셋에서도 F1 스코어 97.2%를 기록하여, 제한된 학습 데이터 조건에서도 강력한 일반화 능력을 입증하였다.
• 대칭 이중선형 및 단일 스트림 CNN/RNN 모델 대비 유의미하게 뛰어난 성능을 보였으며, 맨-위트니 U 검정에서 p-value가 0.025였다.
• 최고의 단일 스트림 네트워크 대비 2% 이상의 성능 향상을 기록하였고, 통계적으로 유의미한 p-value 0.022를 확보하였다.
• 대규모(TUH, 2494분) 및 소규모(EPILEPSIAE, 349분) 데이터 컬렉션 모두에서 높은 성능를 유지하며 뛰어난 일반화 능력을 보였다.
• 모델은 계산적으로 효율적이며, 약 110만 개의 파라미터만을 가지며, NVIDIA K80 GPU에서 추론 시간이 약 1.2ms 수준이었다.