[論文レビュー] Learning Brain Representation with Hierarchical Visual Embeddings

Jiawen Zheng, Haonan Jia+5 more|arXiv (Cornell University)|Feb 7, 2026

Face Recognition and Perception被引用数 0

ひとこと要約

この論文は、複数の事前学習エンコーダからの階層的な視覚埋め込みとEEG/MEG信号を整合させる融合ベースの脳–視覚インタフェースを提示し、テキストプロンプトなしで堅牢な脳から画像の検索と再構成を可能にする事前学習済みの融合プリオを使用します。

ABSTRACT

Decoding visual representations from brain signals has attracted significant attention in both neuroscience and artificial intelligence. However, the degree to which brain signals truly encode visual information remains unclear. Current visual decoding approaches explore various brain-image alignment strategies, yet most emphasize high-level semantic features while neglecting pixel-level details, thereby limiting our understanding of the human visual system. In this paper, we propose a brain-image alignment strategy that leverages multiple pre-trained visual encoders with distinct inductive biases to capture hierarchical and multi-scale visual representations, while employing a contrastive learning objective to achieve effective alignment between brain signals and visual embeddings. Furthermore, we introduce a Fusion Prior, which learns a stable mapping on large-scale visual data and subsequently matches brain features to this pre-trained prior, thereby enhancing distributional consistency across modalities. Extensive quantitative and qualitative experiments demonstrate that our method achieves a favorable balance between retrieval accuracy and reconstruction fidelity.

研究の動機と目的

• ピクセルレベルから意味表現までのマルチスケール視覚情報を捉えることで、脳信号から視覚内容をデコードする動機付け。
• 複数の事前学習エンコーダを統合して脳信号に整列する融合視覚埋め込みを形成するHierarchical Visual Fusion (HVF) フレームワークを提案。
• 統合特徴を拡散条件付けに写像するFusion Priorを導入し、テキストなしの安定した画像再構成を実現。
• 従来手法と比較してTHINGS-EEGおよびTHINGS-MEGデータセットで200-wayゼロショット検索と再構成品質を改善したことを示す。

提案手法

• 各画像に対して、複数のCLIPベースのエンコーダで高レベルの意味を抽出し、VAEエンコーダで低レベルのピクセル特徴を抽出する。
• エンコーダ出力を後ノーマライズ残差HVFで融合し、共有視覚埋め込みz_fを生成。
• MBPネットワークを介して脳信号を脳埋め込みz_bに射影し、CLIP風InfoNCE損失でz_bとz_fを整列。
• 凍結された拡散骨格(IP-Adapter)を用いてz_fを拡散条件z_cへ写像するFusion Priorを事前学習し、テキストなしの再構成を実現。
• 再構成時には視覚エンコーダと融合プリオを固定し、脳側のみを訓練して融合空間に整列させる。z_cを条件とした拡散生成を用いる。

(a) Brain-to-image retrieval.

実験結果

リサーチクエスチョン

• RQ1 EEG/MEGなどの脳信号を、意味とピクセルレベルの情報を含む融合された階層的視覚表現に整列できるか。
• RQ2 高レベルの意味だけでなく低レベルの視覚特徴を組み込むことで、脳から画像への検索と再構成の忠実度は向上するか。
• RQ3 学習済みのFusion Priorは、凍結拡散モデルを用いた脳由来埋め込みからテキストなしの安定した画像再構成を可能にするか。
• RQ4 HVF+Fusion Priorアプローチは、被験者間および脳エンコーダーボトルネックを超えてゼロショット検索で堅牢か。
• RQ5 各視覚エンコーダ（意味論的とピクセルレベル）の寄与は、デコード性能にどの程度影響するか。

主な発見

• 提案手法は、THINGS-EEGおよびTHINGS-MEGで200-wayゼロショット脳–画像検索の最先端を達成し、被験者内外の設定で従来手法より大幅に改善。
• CLIPベースの意味エンコーダとVAEベースの低レベルエンコーダ（VAE）を組み合わせた融合が最良の検索性能を生み出し、単一エンコーダや単純な組み合わせを上回る。
• 再構成では、脳由来埋め込みを条件とするFusion Priorが安定した高忠実度の画像生成を可能にし、PixCorrとSSIMの定量的向上と強い意味的整合性を示す。
• アブレーションにより、高レベルの意味と低レベルのピクセル情報の両方を統合する（RN50+B32+VAE）が、意味情報のみまたはピクセルのみの構成より大きな改善を与えることが示された。
• 同じ融合ベースのインタフェースに異なるEEG/MEG脳バックボーンを適用しても、検索性能が一貫して向上し、プラグアンドプレイの汎化性が良いことが示唆される。

(b) Brain-to-image reconstruction.