[論文レビュー] Efficacy of Transformer Networks for Classification of Raw EEG Data

Gourav Siddhad, Anmol Gupta+2 more|arXiv (Cornell University)|Feb 8, 2022

EEG and Brain-Computer Interfaces被引用数 11

ひとこと要約

本論文は、手作業による特徴抽出を伴わずに、生の前処理済みEEGデータを分類するトランスフォーマーに基づくエンドツーエンドのディーパーニューラルネットワークフレームワークを提案する。公開のSTEWデータセットでは、2つの作業負荷レベルで95.28%、3つの作業負荷レベルで88.72%の最先端の正確度を達成し、ローカルの年齢・性別データセットでは94.53%（性別）および87.79%（年齢）の正確度を示した。これにより、トランスフォーマーがEEG分類において有効であることが示された。

ABSTRACT

With the unprecedented success of transformer networks in natural language processing (NLP), recently, they have been successfully adapted to areas like computer vision, generative adversarial networks (GAN), and reinforcement learning. Classifying electroencephalogram (EEG) data has been challenging and researchers have been overly dependent on pre-processing and hand-crafted feature extraction. Despite having achieved automated feature extraction in several other domains, deep learning has not yet been accomplished for EEG. In this paper, the efficacy of the transformer network for the classification of raw EEG data (cleaned and pre-processed) is explored. The performance of transformer networks was evaluated on a local (age and gender data) and a public dataset (STEW). First, a classifier using a transformer network is built to classify the age and gender of a person with raw resting-state EEG data. Second, the classifier is tuned for mental workload classification with open access raw multi-tasking mental workload EEG data (STEW). The network achieves an accuracy comparable to state-of-the-art accuracy on both the local (Age and Gender dataset; 94.53% (gender) and 87.79% (age)) and the public (STEW dataset; 95.28% (two workload levels) and 88.72% (three workload levels)) dataset. The accuracy values have been achieved using raw EEG data without feature extraction. Results indicate that the transformer-based deep learning models can successfully abate the need for heavy feature-extraction of EEG data for successful classification.

研究の動機と目的

• 手作業による特徴抽出を伴わないエンドツーエンドの生EEGデータ分類におけるトランスフォーマーネットワークの有効性を評価すること。
• EEG分類における長年の前処理および特徴工学の依存を、トランスフォーマーのアテンションメカニズムを活用することで是正すること。
• トランスフォーマーが、ローカルおよび公開のEEGデータセットの両方で、既存のディーパーニューラルネットワークモデルと同等または優れた性能を達成できることを実証すること。
• アーチファクトの汚染や被験者間のばらつきによるボトルネックを、自動的・データ駆動型の特徴学習によって軽減すること。

提案手法

• 生でクリアされたEEG信号に直接トランスフォーマーのエンコーダー構造を適用し、学習可能なトークン埋め込みと位置エンコーディングを用いて時間的依存性をモデル化する。
• EEGデータに適応させた位置エンコーディングを用いるが、生理的および時間的特性に特化して最適化されていない。
• マルチヘッド自己アテンションを用いて、EEGチャネルおよび時間ポイント間の長距離依存性を捉え、空間的・時間的表現の統合的学習を可能にする。
• 両方のデータセットにおける二値分類および多値分類タスク用に、学習済み表現の上に分類器ヘッドを追加する。
• エポックの早期停止を用い、交差エントロピー損失関数に基づいてエンドツーエンドで訓練し、ハイパーパramータは検証性能に基づいて調整する。
• アブレーションスタディでは、提案モデルをアテンションベースのベースラインと比較し、EEG表現学習におけるマルチヘッドアテンションの優位性を確認した。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーネットワークは、事前特徴抽出なしに生EEGデータを効果的に分類でき、最先端の手法と同等または優れた性能を達成できるか？
• RQ2 トランスフォーマーに基づくモデルのEEG分類タスクにおける性能は、従来の機械学習およびディーパーニューラルネットワークモデルと比べてどうか？
• RQ3 トランスフォーマーにおけるマルチヘッド自己アテンションは、分類に有用な空間的・時間的パターンをどの程度効果的に捉えられるか？
• RQ4 位置エンコーディングの選択がEEGデータの性能に与える影響は何か？また、神経生理的信号特性に最適化可能か？
• RQ5 提案されたフレームワークは、年齢／性別予測や精神的作業負荷推定といった、異なるEEG分類パラダイムに一般化可能か？

主な発見

• ローカルEEGデータセットでは、性別分類で94.53%、年齢分類で87.79%の正確度を達成し、特徴工学なしで優れた性能を示した。
• 公開のSTEWデータセットでは、2段階の作業負荷分類で95.28%、3段階の作業負荷分類で88.72%の正確度を達成し、既存の最先端手法を上回った。
• 正確度、再現率、F1スコアといった指標においても、一貫した高い性能を示し、混同行列およびROC曲線から、強固な一般化性能が示された。
• アブレーションスタディにより、マルチヘッドアテンションが単一アテンションメカニズムを顕著に上回ることが確認され、EEG表現学習におけるその重要性が強調された。
• 結果から、トランスフォーマーは生EEGデータから意味のある表現を効果的に学習でき、手作業による特徴抽出への依存を低減できることが示唆された。
• 強力な結果であったが、STEWに比べて年齢／性別データセットでの性能はわずかに低かった。これは、最適でない位置エンコーディングと、ドメイン特化型の特徴統合の欠如による可能性がある。