[논문 리뷰] SalientSleepNet: Multimodal Salient Wave Detection Network for Sleep Staging

Ziyu Jia, Youfang Lin외 4명|arXiv (Cornell University)|2021. 05. 24.

EEG and Brain-Computer Interfaces참고 문헌 26인용 수 13

한 줄 요약

SalientSleepNet는 U²-Net 기반 아키텍처를 활용하여 다중 모odal 수면 데이터(EEG 및 EOG)에서 주목할 만한 파동을 탐지하고, 원시 신호에서 직접 다중 척도 수면 전이 규칙을 포착하는 새로운 딥러닝 모델이다. 수면 단계 분류 성능에서 최고 수준을 달성하면서도 기존 딥러닝 모델 중에서 가장 작은 파rameter 수를 가짐. 다중 모달리티 주의 메커니즘을 통해 모달리티 기여도를 적응적으로 가중한다.

ABSTRACT

Sleep staging is fundamental for sleep assessment and disease diagnosis. Although previous attempts to classify sleep stages have achieved high classification performance, several challenges remain open: 1) How to effectively extract salient waves in multimodal sleep data; 2) How to capture the multi-scale transition rules among sleep stages; 3) How to adaptively seize the key role of specific modality for sleep staging. To address these challenges, we propose SalientSleepNet, a multimodal salient wave detection network for sleep staging. Specifically, SalientSleepNet is a temporal fully convolutional network based on the $ m U^2$-Net architecture that is originally proposed for salient object detection in computer vision. It is mainly composed of two independent $ m U^2$-like streams to extract the salient features from multimodal data, respectively. Meanwhile, the multi-scale extraction module is designed to capture multi-scale transition rules among sleep stages. Besides, the multimodal attention module is proposed to adaptively capture valuable information from multimodal data for the specific sleep stage. Experiments on the two datasets demonstrate that SalientSleepNet outperforms the state-of-the-art baselines. It is worth noting that this model has the least amount of parameters compared with the existing deep neural network models.

연구 동기 및 목표

• 수동으로 설계된 특징에 의존하지 않고, 다중 모달 수면 신호에서 주목할 만한 파동을 효과적으로 추출하는 데 도전하는 것.
• RNN을 대체하여 피드포워드 아키텍처를 사용해 수면 단계 간의 다중 척도 전이 규칙(N1, N2, N3, REM, W)을 모델링하는 것.
• 다양한 수면 단계에서 EEG 및 EOG 모달리티의 기여도 변화를 적응적으로 포착하여 분류 정확도를 향상시키는 것.

제안 방법

• 이중 스트림 U²-Net 아키텍처를 채택하여, EEG 및 EOG 신호에서 주목할 만한 파동 패턴을 독립적으로 탐지한다.
• 확장된 컨볼루션을 사용한 다중 척도 추출 모듈을 도입하여 수면 단계 간 장거리, 중거리, 단거리 전이 패턴을 포착한다.
• 다중 모달리티 주의 모듈(MMA)을 활용하여 목표 수면 단계에 따라 EEG 및 EOG 특징의 중요도를 동적으로 가중한다.
• 다중 척도 모듈의 버블넥 레이어를 통해 모델 파ram터를 16% 감소시켰지만 성능 저하 없이 유지한다.
• 시간-주파수 이미지 변환을 회피하고 원시 생리 신호를 직접 처리하여 전체 신호 정보를 유지한다.
• 앱엔디스에 상세한 하이퍼파ram터를 포함하여 두 개의 공개 데이터셋에서 엔드 투 엔드로 교육한다.

실험 결과

연구 질문

• RQ1 U²-Net 기반 아키텍처는 원시 EEG 및 EOG 신호에서 수면 단계 분류를 위해 주목할 만한 파동(예: 스파이넬, K-컴플렉스, 델타 파동 등)을 효과적으로 탐지할 수 있는가?
• RQ2 재귀적 구성 요소 없이 피드포워드 컨볼루션 네트워크에서 수면 단계 간의 다중 척도 전이 규칙(단거리, 중거리, 장거리)을 효과적으로 모델링할 수 있는가?
• RQ3 학습 가능한 주의 메커니즘이 각 수면 단계에서 가장 정보가 많은 모달리티(EEG 또는 EOG)를 적응적으로 강조할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 아키텍처는 최고 수준의 성능를 달성하면서도 딥러닝 수면 단계 분류 모델 중에서 가장 작은 모델 크기를 유지하는가?

주요 결과

• SalientSleepNet는 두 개의 공개 데이터셋에서 모든 최고 수준의 베이스라인을 능가하는 가장 높은 총합 정확도와 F1 점수를 달성한다.
• 일반적으로 미흡하게 표현되고, REM과 유사하여 분류가 어려운 N1 단계의 F1 점수를 향상시킨다.
• 다중 모달리티 주의 모듈이 성능을 크게 향상시켜, 특히 N1과 REM 단계를 구분하는 데 기여한다.
• 모델 파ram터 수는 948,795개이며, 버블넥 레이어가 없는 버전 대비 16% 감소하여, 논문에서 보고된 수면 단계 분류를 위한 가장 작은 딥러닝 모델이다.
• 시각화 결과는 SalientSleepNet이 N2 단계의 수면 스파이넬, N2 단계의 K-컴플렉스, N3 단계의 델타 파동, N1 및 REM 단계의 느린/빠른 눈동자 운동과 같은 알려진 주목할 만한 파동을 성공적으로 탐지함을 확인한다.
• 제거 실험 결과, U²-구조, 다중 척도 추출, 다중 모달리티 주의 각 구성 요소가 성능 향상에 점진적으로 기여하는 것으로 확인된다.