[논문 리뷰] DeepSleepNet-Lite: A Simplified Automatic Sleep Stage Scoring Model with Uncertainty Estimates

Luigi Fiorillo, Paolo Favaro외 1명|arXiv (Cornell University)|2021. 08. 24.

EEG and Brain-Computer Interfaces참고 문헌 52인용 수 106

한 줄 요약

DeepSleepNet-Lite는 단일 채널 EEG 기반 수면 단계 분류 모델로, 간소화된 순방향 전파 CNN 아키텍처를 사용하여 90초 간의 시퀀스만 처리한다. 추론 시 몬테카를로 드롭아웃을 활용해 예측 불확실성을 추정함으로써, 불확실한 예측을 거부함으로써 성능을 향상시킨다. 이로 인해 Sleep-EDF v1-2013에서 최대 86.1%의 정확도와 0.81의 Cohen’s kappa를 달성한다.

ABSTRACT

Deep learning is widely used in the most recent automatic sleep scoring algorithms. Its popularity stems from its excellent performance and from its ability to directly process raw signals and to learn feature from the data. Most of the existing scoring algorithms exploit very computationally demanding architectures, due to their high number of training parameters, and process lengthy time sequences in input (up to 12 minutes). Only few of these architectures provide an estimate of the model uncertainty. In this study we propose DeepSleepNet-Lite, a simplified and lightweight scoring architecture, processing only 90-seconds EEG input sequences. We exploit, for the first time in sleep scoring, the Monte Carlo dropout technique to enhance the performance of the architecture and to also detect the uncertain instances. The evaluation is performed on a single-channel EEG Fpz-Cz from the open source Sleep-EDF expanded database. DeepSleepNet-Lite achieves slightly lower performance, if not on par, compared to the existing state-of-the-art architectures, in overall accuracy, macro F1-score and Cohen's kappa (on Sleep-EDF v1-2013 +/-30mins: 84.0%, 78.0%, 0.78; on Sleep-EDF v2-2018 +/-30mins: 80.3%, 75.2%, 0.73). Monte Carlo dropout enables the estimate of the uncertain predictions. By rejecting the uncertain instances, the model achieves higher performance on both versions of the database (on Sleep-EDF v1-2013 +/-30mins: 86.1.0%, 79.6%, 0.81; on Sleep-EDF v2-2018 +/-30mins: 82.3%, 76.7%, 0.76). Our lighter sleep scoring approach paves the way to the application of scoring algorithms for sleep analysis in real-time.

연구 동기 및 목표

• 계산 자원 소모를 줄이는 단순화된 경량 딥러닝 모델을 개발하여 자동 수면 단계 분류를 실현한다.
• 90초 간의 EEG 시퀀스만 처리함으로써 실시간 및 홈 모니터링 응용을 가능하게 한다.
• 추가적인 아키텍처나 학습 오버헤드 없이 추론 중에 모델 불확실성을 추정한다.
• 불확실성 추정을 바탕으로 불확실한 예측을 거부함으로써 모델의 강인성과 성능을 향상시킨다.

제안 방법

• 시간적 및 주파수 패턴을 모두 캡처하기 위해 작은 필터와 큰 필터를 사용하는 두 개의 병렬 브랜치를 갖춘 간소화된 순방향 전파 CNN을 활용한다.
• 기존 모델 대비 입력 길이를 줄이기 위해 단일 채널 EEG(Fpz-Cz) 90초 시퀀스만 처리한다.
• 테스트 시점에 몬테카를로 드롭아웃을 적용하여 다수의 순방향 전파를 수행함으로써 예측 불확실성을 추정한다.
• 기존 지식에서 유도된 조건부 확률 분포를 사용한 레이블 스무딩을 통해 모델의 校정(_calibration_)을 향상시킨다.
• 불확실한 예측을 식별하고 제거하기 위한 쿼리 절차를 구현하여 나머지 샘플의 성능을 향상시킨다.
• 배치 정규화와 ReLU 활성화 함수를 사용해 모델을 학습함으로써 파라미터 수를 최소화하고, 작은 데이터셋에서의 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 경량이며 90초 입력 아키텍처가 수면 단계 분류에서 최신 기술 수준의 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ2 아키텍처 수정 없이 몬테카를로 드롭아웃이 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ3 불확실한 예측을 거부함으로써 수면 단계 분류의 전체 정확도와 F1 스코어가 향상되는가?
• RQ4 기존 지식을 반영한 레이블 스무딩이 모델의 校정 및 성능에 어떤 영향을 미치는가?
• RQ5 최소한의 아키텍처와 낮은 파라미터 수를 가진 모델이 작은 데이터셋에서 과적합 없이 잘 일반화되는가?

주요 결과

• Sleep-EDF v1-2013(±30mins)에서 DeepSleepNet-Lite는 84.0% 정확도, 78.0% 매크로 F1, 0.78 Cohen’s kappa를 기록하여 최신 기술 수준의 성능를 달성한다.
• 몬테카를로 드롭아웃을 활용해 불확실한 예측을 거부한 후, Sleep-EDF v1-2013에서 정확도 86.1%, 매크로 F1 79.6%, 카프라 0.81로 성능 향상이 이루어졌다.
• Sleep-EDF v2-2018에서는 전체적으로 80.3% 정확도와 0.73 카프라를 기록했으며, 불확실성 제거 후 각각 82.3% 정확도와 0.76 카프라로 향상되었다.
• 불확실성 추정 절차는 특히 자주 잘못 분류되는 N1 및 N3 수면 단계를 성공적으로 식별했다.
• 기존 지식을 반영한 레이블 스무딩은 校정을 향상시켰지만, 몬테카를로 드롭아웃과 조합했을 때 성능 향상이나 불확실성 추정 향상에 일관되게 기여하지는 않았다.
• 모델의 낮은 파라미터 수(~0.6M) 덕분에 과적합에 강건하며, 실시간 및 홈 모니터링 응용에 적합하다.