[論文レビュー] Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining

Di Wu, Siyuan Li+2 more|arXiv (Cornell University)|Apr 20, 2022

EEG and Brain-Computer Interfaces被引用数 11

ひとこと要約

本稿では、マスクされたフーリエスペクトル予測を用いて、頑健な表現を学習する自己教師あり事前学習フレームワークであるneuro2vecを提案する。時間領域でマスクされた神経生理信号（EEG/EMG）のフーリエ変換を予測し、逆離散フーリエ変換（IDFT）を用いて再構成することで、データ拡張を必要とせず、対照的学習や自己回帰的手法を凌駃する、睡眠ステージ分類やジェスチャー認識といった下流タスクで最先端の性能を達成する。

ABSTRACT

Deep learning associated with neurological signals is poised to drive major advancements in diverse fields such as medical diagnostics, neurorehabilitation, and brain-computer interfaces. The challenge in harnessing the full potential of these signals lies in the dependency on extensive, high-quality annotated data, which is often scarce and expensive to acquire, requiring specialized infrastructure and domain expertise. To address the appetite for data in deep learning, we present Neuro-BERT, a self-supervised pre-training framework of neurological signals based on masked autoencoding in the Fourier domain. The intuition behind our approach is simple: frequency and phase distribution of neurological signals can reveal intricate neurological activities. We propose a novel pre-training task dubbed Fourier Inversion Prediction (FIP), which randomly masks out a portion of the input signal and then predicts the missing information using the Fourier inversion theorem. Pre-trained models can be potentially used for various downstream tasks such as sleep stage classification and gesture recognition. Unlike contrastive-based methods, which strongly rely on carefully hand-crafted augmentations and siamese structure, our approach works reasonably well with a simple transformer encoder with no augmentation requirements. By evaluating our method on several benchmark datasets, we show that Neuro-BERT improves downstream neurological-related tasks by a large margin.

研究の動機と目的

• ラベル付き神経生理信号データが限られているという課題に対処するため、複雑なデータ拡張に依存しない自己教師あり事前学習手法の開発を目的とする。
• フーリエ領域における周波数および位相情報が、神経生理信号の意味的な表現を学ぶための強力なインダクティブバイアスとして機能するかを検討する。
• 時間領域における単純だが効果的なマスクされた自己符号化アプローチを用いて、睡眠ステージ分類やジェスチャー認識といったEEGおよびEMGタスクの下流性能を向上させることを目的とする。
• フーリエベースのマスクされた自己符号化が、神経生理信号の表現学習において、対照的学習および空間時間的自己回帰モデリングを凌駃することを示すこと

提案手法

• モデルは時間領域で入力神経生理信号の一部をマスクし、変換器エンコーダーを用いてそのフーリエスペクトル（振幅および位相）を予測する。
• 予測されたフーリエスペクトルは、逆離散フーリエ変換（IDFT）を用いて時間領域に戻され、元の信号を再構成する。
• モデルは、時間領域における元の信号と再構成信号の間の再構成損失を最小化するマスクされた自己符号化目的を用いて事前学習される。
• 本手法はデータ拡張を一切用いず、フーリエ領域の構造的不変性に依存して頑健な表現を学習する。
• 事前学習済みモデルは、睡眠ステージ分類（Sleep-EDF）およびジェスチャー認識（Ninapro）などの下流タスクで、最小限のラベル付きデータを用いて微調整される。
• 複数のマスキング比および予測ターゲット（フーリエスペクトル対逆フーリエ再構成）の評価を通じて、ロバストネスと一般化性能が示された。

実験結果

リサーチクエスチョン

• RQ1 神経生理信号のフーリエスペクトルのマスク予測が、有効な自己教師あり事前学習目的として機能するか？
• RQ2 フーリエ領域におけるマスクされた自己符号化の性能は、空間時間的自己回帰モデリングと比較して、神経生理信号表現学習においてどう異なるか？
• RQ3 本手法は、手作業で設計されたデータ拡張に依存する対照的学習手法を、EEGおよびEMG信号において凌駃するか？
• RQ4 半教師ありおよび転移学習設定下で、1%または10%のラベル付きデータという低データ環境下でも、本手法はどの程度効果的か？

主な発見

• neuro2vecは、下流タスクにおいて対照的学習および自己回帰的マスク自己符号化（MAE）を凌駃し、睡眠ステージ分類において最大1.45%高い正解率および2.37%高いマクロF1スコアを達成した。
• Ninaproデータセットでは、neuro2vecは指関節角度の回帰タスクで最高の性能を示し、回帰タスクにおける強力な一般化性能を示した。
• 1%のラベル付きデータでの半教師あり学習において、neuro2vecはランダム初期化に対して30.31%高い微調整正解率を達成し、MAEよりも4.93%高い性能を示した。
• さまざまなマスキング比において安定した性能を示し、フーリエスペクトルの逆フーリエ再構成を予測する際、20–40%のマスキング率で最適な性能を達成した。
• フーリエスペクトルを直接予測するよりも、IDFTを介した時間領域での再構成の方が効果的であることが示され、時間領域での再構成がより効果的であることがわかった。
• アブレーションスタディにより、神経生理信号は空間時間的領域で情報的に疎であることが確認され、自己回帰的予測は非効率的で冗長であることが判明した。