[논문 리뷰] L-SeqSleepNet: Whole-cycle Long Sequence Modelling for Automatic Sleep Staging

Huy P. Phan, Kristian P. Lorenzen외 8명|arXiv (Cornell University)|2023. 01. 09.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

L-SeqSleepNet은 수면 스테이징을 위한 전체 주기 길이 시퀀스 모형화를 도입하여, 효율적인 장-시퀀스 처리와 단일 채널 입력으로 여러 EEG 설정에서 최첨단 성과를 달성합니다.

ABSTRACT

Human sleep is cyclical with a period of approximately 90 minutes, implying long temporal dependency in the sleep data. Yet, exploring this long-term dependency when developing sleep staging models has remained untouched. In this work, we show that while encoding the logic of a whole sleep cycle is crucial to improve sleep staging performance, the sequential modelling approach in existing state-of-the-art deep learning models are inefficient for that purpose. We thus introduce a method for efficient long sequence modelling and propose a new deep learning model, L-SeqSleepNet, which takes into account whole-cycle sleep information for sleep staging. Evaluating L-SeqSleepNet on four distinct databases of various sizes, we demonstrate state-of-the-art performance obtained by the model over three different EEG setups, including scalp EEG in conventional Polysomnography (PSG), in-ear EEG, and around-the-ear EEG (cEEGrid), even with a single EEG channel input. Our analyses also show that L-SeqSleepNet is able to alleviate the predominance of N2 sleep (the major class in terms of classification) to bring down errors in other sleep stages. Moreover the network becomes much more robust, meaning that for all subjects where the baseline method had exceptionally poor performance, their performance are improved significantly. Finally, the computation time only grows at a sub-linear rate when the sequence length increases.

연구 동기 및 목표

• 수면 스테이징에서 정확도를 높이기 위해 긴 기간의 전체 주기 시간 구조를 모델링하는 동기를 제시합니다.
• 전체 수면 주기(~90분)에 적합한 효율적인 긴 시퀀스 모델링 아키텍처를 개발합니다.
• 다양한 EEG 모달리티와 데이터베이스에서 모델의 견고성과 전이 가능성을 입증합니다.
• 긴 주기 모델링이 계산 효율성을 유지하면서 수면 단계 간 오분류를 줄이는지 보여줍니다.

제안 방법

• 각 30초 EEG 에포치를 STFT를 통해 로그-크기 시간-주파수 이미지로 변환합니다.
• 학습 가능한 필터뱅크, BLSTM, 게이티드 어텐션이 있는 공유 서브네트워크를 사용해 각 에포치를 임베딩으로 인코딩합니다.
• 긴 시퀀스를 중첩 없이 부분 시퀀스로 접어 intra-subsequence BLSTM 처리와 잔차 연결을 적용한 후, subsequence 간 BLSTM 모델링을 수행하고 긴 시퀀스로 펼칩니다.
• 전체 시퀀스에 걸친 교차 엔트로피 손실과 L2 정규화를 사용해 학습합니다.
• 두 계층 완전 연결 분류기(ReLU 활성화 및 소프트맥스 출력을 사용)로 긴 시퀀스의 모든 에포치에 대한 스테이지 확률을 예측합니다.

실험 결과

연구 질문

• RQ1 전체 수면 주기(long sequences)에서 정보를 모델링하는 것이 기존의 짧은 컨텍스트 approached보다 자동 수면 구분을 향상시킵니까?
• RQ2 단일 채널 입력을 사용하여 두개골/두피 스칼프, 귀 내 삽입, cEEGrid 등 서로 다른 EEG 구성을 대상으로 긴 시퀀스 모델링이 정확도를 유지하거나 향상시킬 수 있습니까?
• RQ3 전체 주기 모델링이 특히 N3, REM과 같은 저대표 클래스의 성능에 어떤 영향을 미칩니까?
• RQ4 긴 시퀀스 접근 방식이 계산적으로 효율적이고 시퀀스 길이에 따라 확장 가능합니까?

주요 결과

• L-SeqSleepNet은 SeqSleepNet 베이스라인을 네 데이터베이스에서 무작위 초기화 및 예비학습 기반 초기화 모두에서 지속적으로 능가합니다.
• SHHS에서 L-SeqSleepNet은 88.4% 정확도를 달성하며 보고된 설정에서 SleepTransformer 및 XSleepNet보다 0.7–0.8 포인트 우수합니다.
• 예비학습과 함께 SleepEDF, ear-EEG, cEEGrid에서 각각 1.0%, 1.9%, 3.9%의 이득을 베이스라인 대비 달성합니다.
• 롱-주기 모델링은 데이터셋 전반에서 N3와 REM의 오류를 줄이고 N2에서 다소 손실 증가를 보이며, 주기 기반 구조의 처리 개선을 시사합니다.
• 이 접근 방식은 견고하게 남아 기저선이 성능이 낮았던 피험자의 성능을 향상시키고 시퀀스 길이에 따른 계산 증가가 부분 선형임을 보여줍니다.