[論文レビュー] UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity

Weijian Mai, Zhijun Zhang|arXiv (Cornell University)|Aug 14, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

UniBrain は、単一の潜在拡散モデルとマルチモーダル CLIP 指定機制を用いて fMRI ベースの画像再構成とキャプション生成を統合し、NSD で両タスクの最先端結果を達成する（追加学習なし）。

ABSTRACT

Image reconstruction and captioning from brain activity evoked by visual stimuli allow researchers to further understand the connection between the human brain and the visual perception system. While deep generative models have recently been employed in this field, reconstructing realistic captions and images with both low-level details and high semantic fidelity is still a challenging problem. In this work, we propose UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity. For the first time, we unify image reconstruction and captioning from visual-evoked functional magnetic resonance imaging (fMRI) through a latent diffusion model termed Versatile Diffusion. Specifically, we transform fMRI voxels into text and image latent for low-level information and guide the backward diffusion process through fMRI-based image and text conditions derived from CLIP to generate realistic captions and images. UniBrain outperforms current methods both qualitatively and quantitatively in terms of image reconstruction and reports image captioning results for the first time on the Natural Scenes Dataset (NSD) dataset. Moreover, the ablation experiments and functional region-of-interest (ROI) analysis further exhibit the superiority of UniBrain and provide comprehensive insight for visual-evoked brain decoding.

研究の動機と目的

• 視覚刺激を人間の脳活動からデコードして脳と視覚の結びつきの理解を深める動機づけ
• fMRI 信号からの画像再構成とキャプション生成の両方を実行する統一的で訓練不要のフレームワークを開発
• 多モーダル（テキストと画像）条件付けを備えた潜在拡散モデルを活用して意味的忠実度を向上
• NSD（Natural Scenes Dataset）で手法をデモンストレーションし、ROIベースの脳デコードを分析

提案手法

• 多モーダル生成（画像とテキスト）を可能にするバックボーンとして Versatile Diffusion（潜在拡散モデル）を使用
• fMRI ボクセルを四つの潜在表現にマッピング：Latent-Image Z_I、Latent-Text Z_T、CLIP-Image C_I、CLIP-Text C_T を小規模回帰モデルで
• C_I および C_T 条件の双方で逆拡散をガイドして画像を再構成し、事前学習済み AutoKL デコーダでデコード
• C_I および C_T を用いて逆拡散をガイドして Z_T を取得し、事前学習済み Optimus GPT-2 でキャプションを生成してキャプショニング
• エンコーダを凍結したまま fMRI → Z_I、fMRI → Z_T、fMRI → C_I、fMRI → C_T の四つのリッジ回帰モデルを訓練；大規模ネットワークのファインチューニングはなし
• 拡散ステップ中に CLIP-Image と CLIP-Text 条件を混合パラメータでブレンド（混合値はタスクごとに調整）

実験結果

リサーチクエスチョン

• RQ1 単一の拡散ベースモデルは、視覚誘発 fMRI 信号から画像を同時に再構成しキャプションを生成できるか？
• RQ2 マルチモーダル条件（CLIP-Image および CLIP-Text）は再構成品質とキャプションの意味的忠実度にどのように影響するか？
• RQ3 ROI ベースの脳活動と被験者間の一貫性が UniBrain の性能に与える影響は？
• RQ4 UniBrain は NSD ベースの脳デコードにおいて既存手法と比較して定性的・定量的に利点を提供するか？

主な発見

• UniBrain は低レベル指標（PixCorr、SSIM、AlexNet-2、AlexNet-5）および高レベル指標（Inception、CLIP など）で、従来手法と比較して画像再構成の定量的性能を最先端に達成した
• UniBrain は NSD ベースの画像キャプショニングの初出結果を提供し、低レベルおよび高レベルのテキスト指標で競争力を示した
• アブレーション研究により、CLIP-Image 特徴は低レベルの視覚忠実度に強く寄与し、CLIP-Text 特徴は高レベルの意味細部を追加すること、両者を組み合わせると全体パフォーマンスが最良になることを示した
• マルチモーダル条件付け（C_I および C_T）は、再構成とキャプショニングの両タスクで単一モダリティのベースラインより一貫して結果を改善した
• ROI 分析により、UniBrain は機能的に定義された脳領域（顔ROI、語ROI、場所ROI、体ROI）と整合した内容を生成できることを示し、領域特異的デコードへの洞察を提供した
• UniBrain は単一被験者のデータで訓練されつつ被験者間の一貫性を合理的に維持しており、拡散ベースのフレームワークの強い一般化を示唆する