[논문 리뷰] SLEEPNET: Automated Sleep Staging System via Deep Learning

Siddharth Biswal, Joshua A. Kulas외 5명|arXiv (Cornell University)|2017. 07. 26.

EEG and Brain-Computer Interfaces참고 문헌 27인용 수 105

한 줄 요약

SLEEPNET은 EEG에서 수면 단계 자동 표기를 위해 크고 이질적인 수면 연구 데이터셋에서 심층 신경망을 학습시키고, 1,000개의 홀드아웃 녹음을 대상으로 전문가 수준의 성능(정확도 약 85.8%, kappa 약 0.794)을 달성했으며 MGH에 배포되었습니다.

ABSTRACT

Sleep disorders, such as sleep apnea, parasomnias, and hypersomnia, affect 50-70 million adults in the United States (Hillman et al., 2006). Overnight polysomnography (PSG), including brain monitoring using electroencephalography (EEG), is a central component of the diagnostic evaluation for sleep disorders. While PSG is conventionally performed by trained technologists, the recent rise of powerful neural network learning algorithms combined with large physiological datasets offers the possibility of automation, potentially making expert-level sleep analysis more widely available. We propose SLEEPNET (Sleep EEG neural network), a deployed annotation tool for sleep staging. SLEEPNET uses a deep recurrent neural network trained on the largest sleep physiology database assembled to date, consisting of PSGs from over 10,000 patients from the Massachusetts General Hospital (MGH) Sleep Laboratory. SLEEPNET achieves human-level annotation performance on an independent test set of 1,000 EEGs, with an average accuracy of 85.76% and algorithm-expert inter-rater agreement (IRA) of kappa = 79.46%, comparable to expert-expert IRA.

연구 동기 및 목표

• 대규모의 이질적인 야간 수면 데이터베이스를 활용해 자동 수면 분류 시스템을 학습한다.
• 임상적으로 허용 가능한 정확도로 EEG 수면 단계를 주석 달 수 있는 엔드투엔드 딥러닝 모델을 개발한다.
• 전문가 주석과의 성능 비교 및 실제 임상 설정에서의 배포 가능성을 평가한다.
• 수면 의학 워크플로우를 지원하기 위해 임상의 친화적 인터페이스 및 정량적 보고서를 제공한다.

제안 방법

• EEG 데이터에서 여러 특성 표현을 추출한다(원시 파형, 멀티테이퍼 스펙트럼 분석을 통한 스펙트로그램, 그리고 전문가 정의 피처).
• 로지스틱 회귀, 트리 부스팅, MLP, CNN, RNN, RCNN 등 여러 분류기를 학습·비교하고 최상의 성능 구성을 식별한다.
• 최고의 설정으로 엔드투엔드 딥 모델(전문가 정의 피처와 순환 신경망)을 사용해 30초 에폭 수면 단계 하이노그램을 출력한다.
• 정확도와 Cohen의 카파를 사용해 전문가 주석과의 성능을 평가하고 혼동 패턴을 분석한다.
• 실시간 점수 산출 및 시각화를 위한 임상 웹 인터페이스로 Docker를 통해 최적 모델을 배포한다.

실험 결과

연구 질문

• RQ1 큰 다양성을 갖는 PSG 데이터세트에서 하위집단 구분 없이도 깊은 학습 모델이 강건한 수면 분류를 학습할 수 있는가?
• RQ2 어떤 피처 표현과 모델 아키텍처가 전문가 수면 기술자와의 일치도와 정확도가 가장 높은가?
• RQ3 실세계 데이터에서 자동 수면 분류의 성능은 전문가 간 일치(IRA)와 어떻게 비교되는가?
• RQ4 전통적인 수면 연구실 및 ICU 환경에서 포인트 오브 케어 사용이 가능한지, 배포된 시스템의 실현 가능성은 어떠한가?

주요 결과

• 최고 성능 모델은 전문가 정의 피처를 사용하는 RNN으로, 1,000-테스트 세트에서 85.76%의 정확도와 0.794 Cohen의 카파를 달성했다.
• 피처-모델 조합 중 전문가 정의 피처와 RNN이 가장 높은 일치도와 정확도(Kappa 0.794, Accuracy 0.857)를 보였다.
• 딥 모델은 피처 유형에 관계없이 전통적인 방법(LR, TB, MLP)보다 일관되게 우수한 성능을 보였다.
• RCNN 및 기타 딥 아키텍처도 경쟁력 있는 성능을 보였으며, 장기 시간적 모델링의 명확한 이점이 확인되었다.
• 이 연구는 9,000명의 피험자에 대해 학습하고 1,000명의 피험자에 대해 테스트하는 것을 분석하며 대규모 데이터셋으로의 확장 가능성을 보여준다.
• 임상 현장(MGH)에서의 배포는 웹 인터페이스 및 케이스별 점수 산출을 통한 실용적 가능성을 시사한다.