[論文レビュー] MAEEG: Masked Auto-encoder for EEG Representation Learning

Hsiang-Yun Sherry Chien, Hanlin Goh+2 more|arXiv (Cornell University)|Oct 27, 2022

EEG and Brain-Computer Interfaces被引用数 15

ひとこと要約

MAEEG は、自己教師あり学習に基づく EEG 表現学習のためのマスクドオートエンコーダーであり、トランスフォーマーに基づくアーキテクチャを用いてマスクされた EEG 特徴を再構築することで、わずかなラベル付きサンプルでの微調整によって睡眠ステージ分類の正確性を約 5% 向上させる。この手法は、事前学習段階でより高いマスク率とより集中した（長時間の）マスクセグメントを用いることで、下流タスクのパフォーマンスが向上することを示している。

ABSTRACT

Decoding information from bio-signals such as EEG, using machine learning has been a challenge due to the small data-sets and difficulty to obtain labels. We propose a reconstruction-based self-supervised learning model, the masked auto-encoder for EEG (MAEEG), for learning EEG representations by learning to reconstruct the masked EEG features using a transformer architecture. We found that MAEEG can learn representations that significantly improve sleep stage classification (~5% accuracy increase) when only a small number of labels are given. We also found that input sample lengths and different ways of masking during reconstruction-based SSL pretraining have a huge effect on downstream model performance. Specifically, learning to reconstruct a larger proportion and more concentrated masked signal results in better performance on sleep classification. Our findings provide insight into how reconstruction-based SSL could help representation learning for EEG.

研究の動機と目的

• 大規模なラベル付きデータセットへの依存を減らす自己教師あり学習手法を、EEG 表現学習のために開発すること。
• 再構築に基づく自己教師あり学習（SSL）が、限られたラベル付きデータを前提とした下流の EEG 分類タスクをどのように改善できるかを調査すること。
• マスク率、マスクの集中度、マスクスパンといった異なるマスク戦略が、EEG における SSL パフォーマンスに与える影響を評価すること。
• BENDR などの既存の SSL モデルと比較して、MAEEG の表現品質と下流タスクのパフォーマンスを評価すること。

提案手法

• MAEEG は二段階のアーキテクチャを採用している：6チャネルの原始 EEG 信号を畳み込みエンコーダーが潜在的特徴に変換し、その後、トランスフォーマーに基づくデコーダーがこれらの特徴のマスクされた部分を再構築する。
• 事前学習段階で、潜在的特徴トークンの 25%、50%、75% をランダムにマスクすることで、マスクドオートエンコーディングを実装している。
• マスクは潜在空間に適用され、複数の短いチャンクまたは 1 つの長時間の連続マスクの両方の選択肢があり、マスクの集中度の影響を調査する。
• モデルは、元の特徴と再構築された特徴の差を最小化する再構築損失を用いて事前学習される。
• 事前学習後、エンコーダーは少量のラベル付きサンプルを用いて下流の睡眠ステージ分類タスクに微調整される。
• 本手法は、2018 年 PhysioNet Challenge の EEG データセットを用いて評価され、5 つの睡眠ステージにおける分類精度を指標として測定される。

実験結果

リサーチクエスチョン

• RQ1 再構築に基づく自己教師あり学習は、限られたラベル付きデータを前提とした睡眠ステージ分類のための EEG 表現学習を改善するか？
• RQ2 マスク率（25%、50%、75%）が MAEEG における学習された表現の質に与える影響は何か？
• RQ3 マスク領域の空間的集中度（例：1 つの長時間のマスク vs. 複数の短いマスク）は下流タスクのパフォーマンスに影響を及ぼすか？
• RQ4 マスクスパンの長さが表現品質および下流タスクの正確性に与える影響は何か？
• RQ5 限られたラベル付きデータ環境下で、MAEEG は BENDR などの既存の SSL モデルを上回る下流の睡眠ステージ分類性能を示すか？

主な発見

• MAEEG の事前学習により、ラベル付きデータの 0.1%（約 4 時間）での微調整でも、睡眠ステージ分類の正確性が約 5% 向上した。
• 75% のマスク率で事前学習したモデルが、50% や 25% の場合よりも優れた性能を示し、より高いマスク率がより良い表現を生み出すことを示唆している。
• 1 つの長時間の連続マスク（すなわち、集中マスク）は、複数の短い断片的なマスクよりも優れた下流タスクパフォーマンスをもたらした。
• マスクスパンが長いほど、特にラベルが限られた状況で、下流分類の正確性が一貫して向上した。
• MAEEG の事前学習による性能向上は、異なる下流データ分割に対して一貫しており、被験者間のばらつきやラベルの不均衡に対しても頑健であった。
• 結果から、EEG シグナルのより大きな連続的セグメントを再構築させるようにモデルを強制することで、時間的・周波数的関係をより意味的に学習できるようになることが示唆された。