[論文レビュー] Uncovering the structure of clinical EEG signals with self-supervised learning

Hubert Banville, Omar Chehab+3 more|arXiv (Cornell University)|Jul 31, 2020

EEG and Brain-Computer Interfaces参考文献 95被引用数 231

ひとこと要約

本論文はEEGの自己教師付き学習（SSL）を調査し、相対位置付け、時系列シャッフル、対比予測コード化の三つの前置タスクを導入してEEG表現を学習し、睡眠段階推定と病理検出で評価。SSLの特徴量は低ラベル環境で教師ありベースラインを上回り、生理学的に意味のある構造を明らかにする。

ABSTRACT

Objective. Supervised learning paradigms are often limited by the amount of labeled data that is available. This phenomenon is particularly problematic in clinically-relevant data, such as electroencephalography (EEG), where labeling can be costly in terms of specialized expertise and human processing time. Consequently, deep learning architectures designed to learn on EEG data have yielded relatively shallow models and performances at best similar to those of traditional feature-based approaches. However, in most situations, unlabeled data is available in abundance. By extracting information from this unlabeled data, it might be possible to reach competitive performance with deep neural networks despite limited access to labels. Approach. We investigated self-supervised learning (SSL), a promising technique for discovering structure in unlabeled data, to learn representations of EEG signals. Specifically, we explored two tasks based on temporal context prediction as well as contrastive predictive coding on two clinically-relevant problems: EEG-based sleep staging and pathology detection. We conducted experiments on two large public datasets with thousands of recordings and performed baseline comparisons with purely supervised and hand-engineered approaches. Main results. Linear classifiers trained on SSL-learned features consistently outperformed purely supervised deep neural networks in low-labeled data regimes while reaching competitive performance when all labels were available. Additionally, the embeddings learned with each method revealed clear latent structures related to physiological and clinical phenomena, such as age effects. Significance. We demonstrate the benefit of self-supervised learning approaches on EEG data. Our results suggest that SSL may pave the way to a wider use of deep learning models on EEG data.

研究の動機と目的

• 臨床現場でのラベル付きEEGデータ不足の解決策としてSSLを動機づける。
• 未ラベルデータから堅牢な表現を学習するためのEEG特有の3つのSSL前置タスクを導入する。
• 睡眠段階推定と病理検出におけるSSL表現を、教師あり・手作り特徴量ベースのベースラインと比較・評価する。
• 学習された埋め込みを生理学的・臨床的に意味のある構造の観点から分析する。

提案手法

• EEGのための三つのSSL前置タスクを定義する：相対配置（RP）、時系列シャッフル（TS）、対比予測コード化（CPC）
• 端から端まで学習可能なエンコーダ h_Θ を用いてEEGウィンドウを特徴空間へ写像し、対比モジュール g_RP、g_TS、またはパラメトリック CPC コンポーネントを組み込む。
• RP/TS にはバイナリロジスティック損失、CPC には InfoNCE 損失を用いて最適化し、下流の線形分類器またはロジスティック回帰とともにエンドツーエンドで訓練する。
• 埋め込み器として二つのEEGアーキテクチャ（StagerNetとShallowNet）を評価し、CPCにはGRUベースの自己回帰成分を用いる。
• SSLを、ランダムウェイト、畳み込み自動エンコーダ、純粋な教師ありモデル、手作り特徴量といったベースラインと比較する。
• 睡眠段階推定（Physionet Challenge 2018）と病理検出（TUH Abnormal EEG）で実験を行う。

実験結果

リサーチクエスチョン

• RQ1 EEGデータの関連構造を最もよく捉えるSSLタスクは何か？
• RQ2 下流のEEG分類タスクにおいて、SSL特徴は無監督・監督ベースラインとどう比較されるか？
• RQ3 SSLで学習された埋め込みが生理学的・臨床的現象（例：年齢効果）についてどのような特徴を示すか？

主な発見

• SSL特徴は低ラベルデータ環境で線形分類器が純粋な監督ネットワークを上回るのを可能にする。
• すべてのラベルが利用可能な場合、SSL表現は完全なラベル付き監督と競合する性能に達する。
• SSL法の埋め込みは、年齢などの生理学的・臨床的因子に関連する潜在構造を明らかにする。
• 睡眠段階推定と病理検出という臨床的に関連する二つのタスクは、ベースライン手法よりもSSLの恩恵を受ける。
• 本研究は、SSLが臨床文脈でEEGデータへの深層学習適用を高める可能性を裏付ける。