[論文レビュー] Toward High-Fidelity Visual Reconstruction: From EEG-Based Conditioned Generation to Joint-Modal Guided Rebuilding

Zijun Gong, Tianren Yao+2 more|arXiv (Cornell University)|Mar 20, 2026

EEG and Brain-Computer Interfaces被引用数 0

ひとこと要約

JMVRはEEGとテキストを独立したモダリティとして扱い、EEG信号から高忠実度の映像を再構成するジョイントモーダルフレームワークを提案し、THINGS-EEGで最先端の結果を達成します。

ABSTRACT

Human visual reconstruction aims to reconstruct fine-grained visual stimuli based on subject-provided descriptions and corresponding neural signals. As a widely adopted modality, Electroencephalography (EEG) captures rich visual cognition information, encompassing complex spatial relationships and chromatic details within scenes. However, current approaches are deeply coupled with an alignment framework that forces EEG features to align with text or image semantic representation. The dependency may condense the rich spatial and chromatic details in EEG that achieved mere conditioned image generation rather than high-fidelity visual reconstruction. To address this limitation, we propose a novel Joint-Modal Visual Reconstruction (JMVR) framework. It treats EEG and text as independent modalities for joint learning to preserve EEG-specific information for reconstruction. It further employs a multi-scale EEG encoding strategy to capture both fine- and coarse-grained features, alongside image augmentation to enhance the recovery of perceptual details. Extensive experiments on the THINGS-EEG dataset demonstrate that JMVR achieves SOTA performance against six baseline methods, specifically exhibiting superior capabilities in modeling spatial structure and chromatic fidelity.

研究の動機と目的

• EEG信号からの高忠実度視覚再構成を、テキスト整合条件付けを超えて動機づける。
• EEG表現を抽象的なテキスト/画像セマンティクスからデカップリングし、知覚的ディテールを保持する。
• ジョイント潜在空間を豊かにするためのマルチスケールEEGエンコーダと画像拡張を開発する。
• EEGをテキスト空間へ強制することなく、クロスモーダル相互作用を可能とするジョインドモーダルアテンション機構を提案する。
• 拡散ステップゲーティングを導入し、拡散ステップ間で意味情報と知覚情報のバランスを取る。

提案手法

• 空間-時間およびピラミッドプーリングブランチを持つマルチスケールEEGエンコーダで、細部と粗いEEG特徴を捕捉。
• エッジマップ、彩度、Depth-Anything-v2による深度、さらにHSV彩度を用いた画像拡張で視覚属性を豊かにする。
• 画像、テキスト、EEGのトークンを連結し、単一の結合自己注意を適用するジョイントモーダルアテンション。モダリティ固有の射影と後続のモダリティ別MLP残差を使用。
• 拡散タイムステップ全体で情報フローを調整するDiffusion Step Gating（テキスト priorsはsinスケジュール、EEG priorsは1 - sinスケジュール）を用い、粗い意味情報と細粒な知覚手掛かりを整合させる。

実験結果

リサーチクエスチョン

• RQ1 EEGベースの視覚再構成は、EEGをテキスト/画像セマンティクスからデカップリングすることで、より高い忠実度を達成できるか。
• RQ2 マルチスケールEEG表現と画像拡張は再構成品質にどのような影響を与えるか。
• RQ3 従来のクロスアテンションと比較して、EEG事前アライメントなしのジョインドモーダルアテンション戦略は、より豊かなクロスモーダル相互作用を実現するか。
• RQ4 生成中の拡散ステップゲーティングは、意味ガイダンスとEEG知覚情報のバランスを取る上でどのような影響を与えるか。

主な発見

• JMVRはTHINGS-EEGで複数の指標において6つのベースラインと比較して最先端の性能を達成。
• アブレーションにより、マルチスケールEEGエンコーディングと拡散ステップゲーティングが性能にとって重要であることが示される。
• 画像拡張は細部の忠実度を改善し、色と深度属性の劣化を抑える。
• ジョインドモーダルアテンションはEEG特異性を保持し、EEGをテキスト整列スペースへ強制することなく、モダリティ間の豊かな相互作用を可能にする。
• 時系列分析は、EEGが後半の深度と空間構造へ寄与する一方、テキストが拡散の初期段階で粗い構造を支配することを示唆する。