[論文レビュー] BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding

Yulong Liu, Yongqiang Ma+3 more|arXiv (Cornell University)|Feb 25, 2023

Image Processing Techniques and Applications被引用数 6

ひとこと要約

BrainCLIPは、視覚的・言語的埋め込み空間へのCLIPのクロスモodalな整合性を活用して、fMRI活動を画像およびテキスト埋め込みにマッピングする、タスクに依存しないfMRIデコードフレームワークを提案する。これにより、ゼロショットの視覚的カテゴリーデコード、fMRI-画像/テキストマッチング、高精度なfMRI-画像生成が可能になる。視覚的および言語的監視を統合的に最適化することで、先行手法（BraVLなど）を上回る、意味的再構成およびリtrievalにおける最先端の性能を達成する。

ABSTRACT

Due to the lack of paired samples and the low signal-to-noise ratio of functional MRI (fMRI) signals, reconstructing perceived natural images or decoding their semantic contents from fMRI data are challenging tasks. In this work, we propose, for the first time, a task-agnostic fMRI-based brain decoding model, BrainCLIP, which leverages CLIP's cross-modal generalization ability to bridge the modality gap between brain activity, image, and text. Our experiments demonstrate that CLIP can act as a pivot for generic brain decoding tasks, including zero-shot visual categories decoding, fMRI-image/text matching, and fMRI-to-image generation. Specifically, BrainCLIP aims to train a mapping network that transforms fMRI patterns into a well-aligned CLIP embedding space by combining visual and textual supervision. Our experiments show that this combination can boost the decoding model's performance on certain tasks like fMRI-text matching and fMRI-to-image generation. On the zero-shot visual category decoding task, BrainCLIP achieves significantly better performance than BraVL, a recently proposed multi-modal method specifically designed for this task. BrainCLIP can also reconstruct visual stimuli with high semantic fidelity and establishes a new state-of-the-art for fMRI-based natural image reconstruction in terms of high-level semantic features.

研究の動機と目的

• fMRIデータからの一般的な自然視覚刺激のデコードに課題がある。低SN比とペア化されたデータの欠如が主な要因である。
• タスク固有の再トレーニングが不要な統合的でタスクに依存しない脳デコードフレームワークの開発。
• CLIPの事前学習済みで整合性の取れた視覚的・言語的埋め込み空間を、脳活動マッピングのピボットとして活用することで、意味レベルのデコード性能を向上。
• 訓練時に視覚的および言語的監視を併用することで、fMRI-画像生成およびfMRI-テキストマッチングのデコード性能が向上することの実証。

提案手法

• 対照的学習を用いて、画像およびテキストデータを用いてfMRIパターンをCLIPの共有埋め込み空間にマップするネットワークを訓練。
• 4億組の画像-テキストペアで事前学習されたCLIPの視覚およびテキストエンコーダーを用い、脳に類似した意味的に豊かな表現空間を提供。
• 2つのアーキテクチャを検討：線形マッピングヘッドとVAEベースのマッピングネットワーク。fMRIからCLIP埋め込みへの変換をモデル化。
• 推論時、プロンプト工学を用いてゼロショットの視覚的カテゴリ分類、fMRI-画像/テキストマッチング、拡散ベースの画像生成をサポート。
• fMRI-画像対照的損失とfMRI-テキスト対照的損失を組み合わせることで、脳活動を両モodalと同時に整合させる訓練目的を定義。
• NSDおよびGOD fMRIデータセットでモデルを評価し、CLIPベースおよびInception V3ベースの類似度スコアといった定量的指標を用いる。

Figure 1: An overview of our BrainCLIP framework. In the training phase, a mapping network is trained to align fMRI patterns with images and texts. In the test phase, BrainCLIP can be flexibly applied to the fMRI-image/text matching or fMRI-to-image generation tasks. Combined with prompting techniqu

実験結果

リサーチクエスチョン

• RQ1 CLIPのクロスモーダル表現空間は、fMRI脳活動と視覚的・言語的データを接続するユニバーサルピボットとして機能できるか？
• RQ2 画像とテキストの両方の監視を併用することで、単一モーダルの監視に比べ、fMRIデコード性能が向上するか？
• RQ3 統合的でタスクに依存しないモデルが、ゼロショット分類、リtrieval、画像生成を含む複数のfMRIデコードタスクで最先端の結果を達成できるか？
• RQ4 異なるマッピングネットワークアーキテクチャ（線形対VAE）は、fMRI-画像生成およびリtrievalタスクにおける性能にどのように影響するか？

主な発見

• BrainCLIP-VAEは、視覚的および言語的両方の監視を用いてfMRI-テキストリtrieバルで90.8％の精度を達成し、単一モーダルの設定を上回った。
• fMRI-画像生成において、BrainCLIP-VAEはノイズの入った画像を入力として、CLIPベースの2方向識別スコアで89.4％を達成し、高い意味的正確性を示した。
• 視覚的および言語的両方の監視を用いた場合、fMRI-テキストリtrieバルの精度は86.7％に達し、マルチモーダルな整合性の利点を実証した。
• BrainCLIPは、ゼロショットの視覚的カテゴリーデコードにおいてBraVLを上回り、fMRI-テキストリtrieバルタスクで86.7％の精度を達成した。
• fMRI-画像およびfMRI-テキストの両方の整合性を組み合わせたことで、すべてのタスクで性能が向上し、マルチモーダル監視の価値を確認した。
• BrainCLIP-VAEはfMRI-画像生成およびfMRI-テキストリtrieバルで優れた性能を示した一方、BrainCLIP-LinearはfMRI-画像リtrieバルで優れた性能を示した。

Figure 2: fmri-guided diffusion model