[論文レビュー] ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data

Ruiqi Yang, Eric Modesitt|arXiv (Cornell University)|Aug 1, 2023

EEG and Brain-Computer Interfaces被引用数 7

ひとこと要約

本論文は、ImageNetで事前学習されたハイブリッドVision Transformer (ViT)をEEG回帰タスクに微調整する手法を提案しており、関連のない画像データでの事前学習がEEGタスクにおける性能を顕著に向上させることを示している。この手法は、標準的なCNNや事前学習を行わないViTを上回る性能を発揮し、ドメインの違いがあるにもかかわらず、視覚からEEGへの転移学習が非常に有効であることを示している。

ABSTRACT

In this study, we demonstrate the application of a hybrid Vision Transformer (ViT) model, pretrained on ImageNet, on an electroencephalogram (EEG) regression task. Despite being originally trained for image classification tasks, when fine-tuned on EEG data, this model shows a notable increase in performance compared to other models, including an identical architecture ViT trained without the ImageNet weights. This discovery challenges the traditional understanding of model generalization, suggesting that Transformer models pretrained on seemingly unrelated image data can provide valuable priors for EEG regression tasks with an appropriate fine-tuning pipeline. The success of this approach suggests that the features extracted by ViT models in the context of visual tasks can be readily transformed for the purpose of EEG predictive modeling. We recommend utilizing this methodology not only in neuroscience and related fields, but generally for any task where data collection is limited by practical, financial, or ethical constraints. Our results illuminate the potential of pretrained models on tasks that are clearly distinct from their original purpose.

研究の動機と目的

• ImageNetで事前学習されたVision Transformerが、EEG回帰タスクに効果的に微調整可能かどうかを調査すること。
• 従来のCNNや事前学習を行わないViTと比較して、ハイブリッドViTモデルのEEGデータにおける性能を評価すること。
• EEG研究で一般的な低データ環境におけるモデルの汎化性能と性能に与える事前学習の影響を評価すること。
• 効果的な転移学習には、類似したデータタイプで事前学習する必要があるという仮定に疑問を呈すること。
• 高価なデータ収集に依存しない、スケーラブルでデータ効率の良いEEG解析手法を提供すること。

提案手法

• EEGEyeNetデータセットを用いて、ImageNetで事前学習されたハイブリッドVision Transformer (ViT) をEEG回帰タスクに微調整する。
• 初期の特徴抽出に畳み込み層を用い、グローバルなアテンションとシーケンスモデリングにVision Transformerを組み合わせたハイブリッドアーキテクチャを採用する。
• ViTブロック内で標準的な自己注意機構を適用し、空間的・時間的EEG信号における長距離依存関係を捉える。
• EEG入力から注視位置を予測する回帰ヘッドを備えたモデルを、EEGデータ上でエンドツーエンドで訓練する。
• 重み減衰やドロップアウトを含む標準的な最適化および正則化技術を用いて、学習の安定化を図る。
• EEGNet、Xception、および事前学習を行わないViT-Baseといったベースラインモデルと性能を比較する。

Figure 1. EEGEyeNet Large Grid Paradigm (Kastrati et al . , 2021 ) . Participants are asked to fixate on particular dots in a given period.

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、ImageNetで事前学習されたVision TransformerをEEG回帰タスクに効果的に微調整できるか？
• RQ2 ImageNetで事前学習したモデルは、EEGデータ上でランダム初期化から訓練するViTよりも性能に優位性を示すか？
• RQ3 事前学習済みViTの性能は、EEGEyeNet上で最先端のCNNベースのモデルと比べてどうか？
• RQ4 CNNのインダクティブバイアスは、EEG回帰タスクにおける性能に、アテンションベースのモデルと比較してどの程度制限を及えるか？
• RQ5 視覚データからの転移学習は、EEG研究におけるデータ不足問題の有効な解決策となるか？

主な発見

• 事前学習済みViTモデルは、EEGEyeNetの注視位置予測タスクで55.4 mmのRoot Mean Squared Error (RMSE)を達成し、以前の最先端のCNNモデル（RMSE 70.4 mm）を顕著に上回った。
• 事前学習を行わないViT-Baseよりも優れた性能を示したことで、アーキテクチャそのもの以上の貢献が事前学習に由来していることが裏付けられた。
• モデルの優れた性能は、主にTransformerブロックが長距離依存関係を捉える能力に起因しており、畳み込みフロントエンドの貢献ではない。
• EEGNet や Xception といった、深度分離畳み込みを用いたベースラインモデルでさえも、このモデルに劣る結果を示した。これは、EEGデータにおいて自己注意機構が局所的畳み込みよりも優位であることを示している。
• 大規模な画像データでの事前学習が、ドメインシフトがあるにもかかわらず、EEG回帰に強いインダクティブバイアスを提供することが示された。
• 本研究は、視覚からEEGへの転移学習が、ソースタスクとターゲットタスクが無関係であっても、実現可能で効果的であることを示した。

Figure 2. Proposed EEGViT, a hybrid ViT (Vision Transformer) architecture designed specifically for EEG raw signal as input. A two-step convolution operation is applied to generate patch embeddings. Then we add positional embeddings and pass the resulting sequence into ViT layers. The illustration o