[논문 리뷰] Do Not Sleep on Traditional Machine Learning: Simple and Interpretable Techniques Are Competitive to Deep Learning for Sleep Scoring

Jeroen Van Der Donckt, Jonas Van Der Donckt외 5명|arXiv (Cornell University)|2022. 07. 15.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 전처리, 수작업으로 추출한 특징 추출, 그리고 선형 및 그래디언트 부스팅 분류기와 같은 간단한 모델을 포함하는 전통적인 기계학습 파이프라인을 제안한다. 이는 자동 수면 스코어링을 위한 것으로, 두 개의 작은 공개 데이터셋(Sleep-EDF SC-20 및 ST)에서 최신 기술 수준의 성능을 달성하고, 더 큰 데이터셋에서는 경쟁 가능한 결과를 내며, 표현력 있는 특징 공학이 딥 러닝을 능가할 수 있음을 보여준다. 이는 해석 가능성과 효율성을 희생하지 않고도 가능하다.

ABSTRACT

Over the last few years, research in automatic sleep scoring has mainly focused on developing increasingly complex deep learning architectures. However, recently these approaches achieved only marginal improvements, often at the expense of requiring more data and more expensive training procedures. Despite all these efforts and their satisfactory performance, automatic sleep staging solutions are not widely adopted in a clinical context yet. We argue that most deep learning solutions for sleep scoring are limited in their real-world applicability as they are hard to train, deploy, and reproduce. Moreover, these solutions lack interpretability and transparency, which are often key to increase adoption rates. In this work, we revisit the problem of sleep stage classification using classical machine learning. Results show that competitive performance can be achieved with a conventional machine learning pipeline consisting of preprocessing, feature extraction, and a simple machine learning model. In particular, we analyze the performance of a linear model and a non-linear (gradient boosting) model. Our approach surpasses state-of-the-art (that uses the same data) on two public datasets: Sleep-EDF SC-20 (MF1 0.810) and Sleep-EDF ST (MF1 0.795), while achieving competitive results on Sleep-EDF SC-78 (MF1 0.775) and MASS SS3 (MF1 0.817). We show that, for the sleep stage scoring task, the expressiveness of an engineered feature vector is on par with the internally learned representations of deep learning models. This observation opens the door to clinical adoption, as a representative feature vector allows to leverage both the interpretability and successful track record of traditional machine learning models.

연구 동기 및 목표

• 자동 수면 스코어링에 복잡한 딥 러닝 모델에 대한 의존성이 지배적인 경향에 도전하기 위해.
• 전통적 기계학습 파이프라인이 더 높은 해석 가능성과 낮은 계산 비용을 바탕으로 경쟁 가능한 성능을 달성할 수 있는지 조사하기 위해.
• 딥 러닝 모델의 블랙박스 성격, 높은 자원 요구량, 낮은 재현 가능성으로 인해 임상에서의 보편적 채택이 제한된 문제를 해결하기 위해.
• 잘 설계된 특징 벡터가 딥 러닝 모델과 경쟁할 수 있는 충분한 표현력을 갖출 수 있음을 보여주기 위해.
• 향후 수면 스코어링 분야의 연구를 위한 실용적이고 효율적이며 해석 가능한 기준선을 제공하기 위해.

제안 방법

• EEG, EOG, EMG, ECG 및 호흡 데이터를 포함한 원시 다면수면도(PSG) 신호의 전처리.
• 에포크 간 시간적 맥락과 신호 특성의 다중 해상도, 다중 도메인 특징 벡터의 요약.
• 수면 단계 분류를 위한 선형(로지스틱 회귀) 및 비선형(그래디언트 부스팅) 모델의 적용.
• 추출된 특징 공간의 대표성을 검증하기 위해 PCA를 사용.
• 네 가지 공개 데이터셋(Sleep-EDF SC-20, Sleep-EDF ST, Sleep-EDF SC-78 및 MASS SS3)에서의 모델 훈련 및 평가.
• 최소한의 계산 오버헤드로 표준 하드웨어에서 모델 훈련 및 추론 수행.

실험 결과

연구 질문

• RQ1 기존의 기계학습 파이프라인이 수면 단계 분류에서 최신 기술 수준의 딥 러닝 모델을 능가할 수 있는가?
• RQ2 수작업 특징이 PSG 데이터의 복잡한 시간 패턴을 포괄하기 위해 깊이 있는 신경망이 필요한가?
• RQ3 이 작업에서 전통적 기계학습과 딥 러닝 접근법 간의 훈련 시간, 추론 속도, 모델 복잡도는 어떻게 비교되는가?
• RQ4 전통적 모델의 해석 가능성은 블랙박스 딥 러닝 모델 대비 임상적 채택 잠재력을 향상시키는가?
• RQ5 매우 대표적인 특징 벡터를 사용할 경우, 딥 러닝과 전통적 기계학습 간의 성능 격차는 무시할 만큼 작아지는가?

주요 결과

• 제안된 파이프라인이 Sleep-EDF SC-20에서 F1-macro 점수 0.810, Sleep-EDF ST에서 0.795를 기록하여 이 데이터셋에서 기존의 딥 러닝 방법을 능가했다.
• 더 큰 데이터셋에서는 F1-macro 점수 0.775(Sleep-EDF SC-78) 및 0.817(MASS SS3)의 경쟁 가능한 결과를 달성했다.
• 선형 모델이 Sleep-EDF ST에서 F1-macro 0.795의 뛰어난 성능을 보이며, 특징 벡터가 복잡한 모델링 없이도 충분한 표현력을 갖추고 있음을 시사했다.
• 전체 수면(8시간)에 대한 훈련 및 추론이 저성능 CPU에서 25초 이내에 수행되었으며, 모델 훈련은 1분 이내로 끝나 높은 효율성을 입증했다.
• PCA 시각화를 통해 특징 벡터가 다중 해상도 및 다중 도메인 정보를 효과적으로 요약하고 있음을 입증하여, 그 대표성의 높음을 확인했다.
• 더 작은 데이터셋에서 딥 러닝 모델을 능가한 점은 효과적인 특징 공학이 데이터 효율성과 일반화 능력을 향상시킬 수 있음을 시사한다.