[論文レビュー] Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion

Dongyang Li, Wei Chen+4 more|arXiv (Cornell University)|Mar 12, 2024

Blind Source Separation Techniques被引用数 4

ひとこと要約

本稿では、プラグアンドプレイ型EEGエンコーダーであるAdaptive Thinking Mapper (ATM) と2段階の拡散ベース画像生成器を用いた、新しいEEGベースの視覚再構成フレームワークを提案する。対照的学習を用いてEEG埋め込みを画像特徴と整合させ、誘導付き拡散を活用することで、EEGベースの画像分類、リtrieval、再構成において最先端の性能を達成し、脳-コンピュータインターフェース応用における高い時間分解能と低コストを実現した。

ABSTRACT

How to decode human vision through neural signals has attracted a long-standing interest in neuroscience and machine learning. Modern contrastive learning and generative models improved the performance of visual decoding and reconstruction based on functional Magnetic Resonance Imaging (fMRI). However, the high cost and low temporal resolution of fMRI limit their applications in brain-computer interfaces (BCIs), prompting a high need for visual decoding based on electroencephalography (EEG). In this study, we present an end-to-end EEG-based visual reconstruction zero-shot framework, consisting of a tailored brain encoder, called the Adaptive Thinking Mapper (ATM), which projects neural signals from different sources into the shared subspace as the clip embedding, and a two-stage multi-pipe EEG-to-image generation strategy. In stage one, EEG is embedded to align the high-level clip embedding, and then the prior diffusion model refines EEG embedding into image priors. A blurry image also decoded from EEG for maintaining the low-level feature. In stage two, we input both the high-level clip embedding, the blurry image and caption from EEG latent to a pre-trained diffusion model. Furthermore, we analyzed the impacts of different time windows and brain regions on decoding and reconstruction. The versatility of our framework is demonstrated in the magnetoencephalogram (MEG) data modality. The experimental results indicate that our EEG-based visual zero-shot framework achieves SOTA performance in classification, retrieval and reconstruction, highlighting the portability, low cost, and high temporal resolution of EEG, enabling a wide range of BCI applications. Our code is available at https://github.com/ncclab-sustech/EEG_Image_decode.

研究の動機と目的

• fMRIのBCI応用における高コストと低時間分解能という限界を克服するため、低コストで携帯性があり、時間分解能の高いEEGベースの視覚復元フレームワークを開発すること。
• 新しいEEGエンコーダーであるAdaptive Thinking Mapper (ATM) を導入することで、EEGと画像埋め込みの間の優れた整合性を実現し、EEGベースの視覚再構成を向上させること。
• EEG埋め込みを条件とする2段階の拡散ベース生成モデルを用いて、高精細な画像再構成を実現すること。
• さまざまな脳領域と時間窓がEEGベースの視覚復元性能に与える影響を調査すること。
• フレームワークがEEGおよびMEGデータモダリティの両方で汎用的であることを実証すること。

提案手法

• 提案されたフレームワークは、プラグアンドプレイ型のEEGエンコーダーであるAdaptive Thinking Mapper (ATM) を使用しており、アテンションモジュールと空間的・時間的畳み込みモジュールを統合して、リアルタイムのEEGおよびMEG表現を抽出する。
• ATMエンコーダーは自己教師付き対照的学習フレームワークを用いて訓練され、EEG埋め込みをCLIPベースの画像埋め込みと整合させることで、表現品質を向上させる。
• 2段階の画像生成戦略が採用されている：まず、事前分布拡散モデルがEEG特徴を条件として画像埋め込みを生成し、次に、強化されたStable DiffusionモデルがこれらのEEG条件付き事前分布から最終的な画像を再構成する。
• 本手法は、下流タスクにおける微調整なしに、EEG埋め込みを用いてゼロショット画像リtrievalおよび分類を可能にする。
• フレームワークはEEG（THINGS-EEG）およびMEG（THINGS-MEG）データセットの両方で評価され、モダリティおよび被験者間で堅牢性を示した。
• アブレーションスタディにより、ATMにおけるアテンションモジュールおよび空間的・時間的畳み込みモジュールの各貢献が検証された。

実験結果

リサーチクエスチョン

• RQ1 fMRIベースの手法と同等の最先端性能を達成しつつ、低コストと高時間分解能を維持できるか、EEGベースの視覚再構成は可能か？
• RQ2 刺激処理中の異なる脳領域および時間窓において、EEGベースの視覚復元性能はどのように変化するか？
• RQ3 ATMのようなプラグアンドプレイ型EEGエンコーダーは、下流タスクにおけるEEGと画像埋め込みの整合性をどの程度向上できるか？
• RQ4 2段階の拡散ベース生成戦略は、EEG信号から高精細な自然画像を効果的に再構成できるか？
• RQ5 提案されたフレームワークはEEGおよびMEGデータモダリティの両方で汎用的か？

主な発見

• 提案されたATM-Sモデルは、THINGS-EEGデータセットにおける偶数被験者でのゼロショットリtrievalにおいて、トップ1正答率28.50%、トップ5正答率60.39%を達成し、すべてのベースラインを上回った。
• 被験者非依存のリtrievalでは、ATM-Sは全体でトップ1正答率13.65%、トップ5正答率37.34%を達成し、EEGNetV4（8.69%トップ1）やNICE（8.81%トップ1）といった先行手法を顕著に上回った。
• 被験者依存のリtrievalでは、被騟能1で25.60%のトップ1正答率、被験者7で30.50%を達成し、次に良い手法（NICE）を10ポイント以上上回った。
• 2段階の拡散生成戦略により、EEG信号から鮮やかで知覚的に正確な画像再構成が可能となり、定性的な結果では元の刺激と高い類似性が確認された。
• アブレーションスタディにより、ATMにおけるアテンションモジュールと空間的・時間的畳み込みモジュールの両方が最適な性能を発揮するために不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• フレームワークはMEGデータにも一般化可能であり、THINGS-MEGデータセットでも最先端の性能を達成した。これにより、神経画像モダリティ間での汎用性が確認された。