[論文レビュー] Do Not Sleep on Traditional Machine Learning: Simple and Interpretable Techniques Are Competitive to Deep Learning for Sleep Scoring

Jeroen Van Der Donckt, Jonas Van Der Donckt+5 more|arXiv (Cornell University)|Jul 15, 2022

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

本論文は、前処理、手作業による特徴量抽出、および線形回帰や勾配ブースティング分類器のような単純なモデルを含む、伝統的な機械学習パイプラインを提案する。この手法は、2つの小さな公開データセット（Sleep-EDF SC-20 および ST）において最先端の性能を達成し、より大きなデータセットでも競争力のある結果を示しており、表現力のある特徴量設計が、解釈可能性や効率性を損なわずにディープラーニングを凌駆することを示している。

ABSTRACT

Over the last few years, research in automatic sleep scoring has mainly focused on developing increasingly complex deep learning architectures. However, recently these approaches achieved only marginal improvements, often at the expense of requiring more data and more expensive training procedures. Despite all these efforts and their satisfactory performance, automatic sleep staging solutions are not widely adopted in a clinical context yet. We argue that most deep learning solutions for sleep scoring are limited in their real-world applicability as they are hard to train, deploy, and reproduce. Moreover, these solutions lack interpretability and transparency, which are often key to increase adoption rates. In this work, we revisit the problem of sleep stage classification using classical machine learning. Results show that competitive performance can be achieved with a conventional machine learning pipeline consisting of preprocessing, feature extraction, and a simple machine learning model. In particular, we analyze the performance of a linear model and a non-linear (gradient boosting) model. Our approach surpasses state-of-the-art (that uses the same data) on two public datasets: Sleep-EDF SC-20 (MF1 0.810) and Sleep-EDF ST (MF1 0.795), while achieving competitive results on Sleep-EDF SC-78 (MF1 0.775) and MASS SS3 (MF1 0.817). We show that, for the sleep stage scoring task, the expressiveness of an engineered feature vector is on par with the internally learned representations of deep learning models. This observation opens the door to clinical adoption, as a representative feature vector allows to leverage both the interpretability and successful track record of traditional machine learning models.

研究の動機と目的

• 自動睡眠スコアリングにおける複雑なディープラーニングモデルへの依存という一般的な傾向に挑戦すること。
• 古典的機械学習パイプラインが、解釈可能性の向上と計算コストの低減を図りながら、競争力のある性能を達成できるかどうかを調査すること。
• ブラックボックス性、高リソース要件、再現性の低さのため、ディープラーニングモデルの臨床的採用が制限されている問題に対処すること。
• 適切に設計された特徴量ベクトルが、ディープラーニングモデルと同等の表現力を十分に保持できることを示すこと。
• 今後の睡眠スコアリング分野の研究における、実用的で効率的かつ解釈可能なベースラインを提供すること。

提案手法

• EEG、EOG、EMG、ECG、呼吸データを含む、生の多導睡眠図（PSG）信号の前処理。
• 時間的文脈と信号特性をエポック単位で要約する、マルチスケール・マルチドメインの特徴量ベクトルの抽出。
• 睡眠ステージ分類のため、線形（ロジスティック回帰）および非線形（勾配ブースティング）モデルの適用。
• 抽出された特徴空間の代表性を可視化・検証するためにPCAの使用。
• 4つの公開データセット（Sleep-EDF SC-20、Sleep-EDF ST、Sleep-EDF SC-78、MASS SS3）を用いたモデルの訓練と評価。
• 最小限の計算オーバーヘッドで、標準的なハードウェア上でのモデル訓練と推論の実施。

実験結果

リサーチクエスチョン

• RQ1 伝統的な機械学習パイプラインは、睡眠ステージ分類において最先端のディープラーニングモデルを上回ることができるか？
• RQ2 手作業による特徴量が、PSGデータ内の複雑な時間的パターンを捉えるために、深層ニューラルネットワークの必要性をどれほど代替できるか？
• RQ3 このタスクにおいて、伝統的機械学習とディープラーニングのアプローチの間で、訓練時間、推論速度、モデルの複雑さはどのように比較されるか？
• RQ4 古典的モデルの解釈可能性が、ブラックボックスなディープラーニングモデルと比較して、臨床的採用の可能性を向上させるか？
• RQ5 非常に代表的な特徴量ベクトルを用いる場合、ディープラーニングと伝統的機械学習の間の性能差は無視できるほど小さくなるか？

主な発見

• 提案されたパイプラインは、Sleep-EDF SC-20 で F1-macro スコア 0.810、Sleep-EDF ST で 0.795 を達成し、これらのデータセットで既存のディープラーニング手法を上回った。
• より大きなデータセットでは、Sleep-EDF SC-78 で F1-macro スコア 0.775、MASS SS3 で 0.817 を達成し、競争力のある結果を得た。
• 線形モデルでも強力な性能（Sleep-EDF ST で F1-macro 0.795）を示しており、特徴量ベクトルが複雑なモデリングなしに十分な表現力を保持していることが示された。
• 1つの睡眠夜（8時間）の完全な訓練・推論に、低性能CPUで25秒未満で完了し、モデル訓練は1分未満で実施された。これは、極めて高い効率性を示している。
• PCAの可視化により、特徴量ベクトルがマルチスケールおよびマルチドメインの情報を効果的に要約できていることが確認された。
• より小さなデータセットではディープラーニングモデルを上回ったことから、効果的な特徴量設計により、データ効率性と一般化性能が向上していることが示唆された。