Skip to main content
QUICK REVIEW

[論文レビュー] Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors

Paul S. Scotti, Atmadeep Banerjee|arXiv (Cornell University)|May 29, 2023
Domain Adaptation and Few-Shot LearningComputer Science被引用数 40
ひとこと要約

MindEye は fMRI データをデコードして、脳活動を CLIP 画像空間へマッピングすることで画像の取得と再構成の両方を実現。対比学習と拡散 priors を介して、最先端の取得と再構成を達成。

ABSTRACT

We present MindEye, a novel fMRI-to-image approach to retrieve and reconstruct viewed images from brain activity. Our model comprises two parallel submodules that are specialized for retrieval (using contrastive learning) and reconstruction (using a diffusion prior). MindEye can map fMRI brain activity to any high dimensional multimodal latent space, like CLIP image space, enabling image reconstruction using generative models that accept embeddings from this latent space. We comprehensively compare our approach with other existing methods, using both qualitative side-by-side comparisons and quantitative evaluations, and show that MindEye achieves state-of-the-art performance in both reconstruction and retrieval tasks. In particular, MindEye can retrieve the exact original image even among highly similar candidates indicating that its brain embeddings retain fine-grained image-specific information. This allows us to accurately retrieve images even from large-scale databases like LAION-5B. We demonstrate through ablations that MindEye's performance improvements over previous methods result from specialized submodules for retrieval and reconstruction, improved training techniques, and training models with orders of magnitude more parameters. Furthermore, we show that MindEye can better preserve low-level image features in the reconstructions by using img2img, with outputs from a separate autoencoder. All code is available on GitHub.

研究の動機と目的

  • 脳活動を高次元のマルチモーダル embeddings(例:CLIP 画像空間)へマッピングし、画像再構成と取得を実現できることを示す。
  • 両タスクを同時最適化するための特化した取得および再構成サブモジュールを開発する。
  • 大規模でパラメータの多い MLP バックボーンが、少データ領域で過学習を回避しつつ性能を向上させることを示す。
  • 拡散 priors を活用して、分離したマルチモーダル埋め込みを整列させ、高忠実度の画像生成を可能にする。
  • 大規模な候補プール(例:LAION-5B)内でも元の画像を正確に取得できる能力を示す。

提案手法

  • 二つの並行パイプライン(高レベルの意味情報を CLIP 画像空間へ、低レベルの知覚情報を VAE 空間へ)。
  • 高レベルパイプラインは fMRI ボクセルを CLIP 埋め込みへマッピングする MLP バックボーンを用い、再構成には拡散 priors、取得にはプロジェクターを続ける。
  • 低レベルパイプラインはボクセルを Stable Diffusion の VAE 埋め込みへマッピングし、img2img refinements によって改善されたぼやけた再構成を生成。
  • トレーニングでは、プロジェクターに対して bidirectional CLIP ロス(BiMixCo)を用い、拡散 priors に対して MSE ロスを用い、SoftCLIP を蒸留風のソフトターゲット信号として用いる。
  • 拡散 priors は、事前学習済み画像生成モデルに入力する前に、脳の埋め込みと CLIP 画像埋め込みを整列させるために、ゼロから訓練される。
  • トレーニングは BiMixCo と SoftCLIP を組み合わせ、訓練の1/3 が経過した後に BiMixCo から SoftCLIP へ切り替えるスケジュール。
  • モデルは単一の A100 GPU で 240 エポック で訓練可能で、モジュール設計のおかげで過学習なしに大規模なパラメータ数にもスケールする。
Figure 1: Example images reconstructed from human brain activity corresponding to passive viewing of natural scenes. Reconstructions depict outputs from Versatile Diffusion [ 6 ] given CLIP fMRI embeddings generated by MindEye for Subject 1. See Figure 4 and Appendix A.4 for more samples.
Figure 1: Example images reconstructed from human brain activity corresponding to passive viewing of natural scenes. Reconstructions depict outputs from Versatile Diffusion [ 6 ] given CLIP fMRI embeddings generated by MindEye for Subject 1. See Figure 4 and Appendix A.4 for more samples.

実験結果

リサーチクエスチョン

  • RQ1fMRI 活動を CLIP 画像埋め込みへマッピングして、正確な画像再構成と取得を可能にできるか。
  • RQ2特化した取得(対比)と再構成(拡散ベース)サブモジュールは、統一的な単一空間アプローチを上回るか。
  • RQ3大規模でパラメータの多い MLP バックボーンは、少データ領域で過学習を起こさずに性能を向上させるか。
  • RQ4拡散 priors は脳と画像モダリティ間の埋め込みの不連続性を緩和し、再構成品質を向上させるか。
  • RQ5脳由来の埋め込みを用いて、大規模な候補プール(例:LAION-5B)から元の画像を正確に取得できるか。

主な発見

  • MindEye は画像取得と脳取得の両方で最先端の性能を達成し、Subject 1 の 982-test-image プールにおける top-1 取得精度が 90% を超える。
  • 高レベルの意味情報パイプラインと拡散 priors の組み合わせは、Versatile Diffusion のような事前学習済み画像生成モデルを用いた場合に高品質な再構成を生み出す。
  • 残差ブロックを含む大規模な MLP バックボーンは取得性能を向上させ、モデルの深さが増すにつれてスキップ接続が重要になる。
  • BiMixCo と SoftCLIP は取得と再構成のバランスを最も良く取り扱うが、BiMixCo 単独でも最も強い取得性能を示す;損失を分離することでトレードオフを管理する。
  • 低レベルの Stable Diffusion の VAE 潜在空間へのマッピングとその後の img2img 改良は、最先端の低レベル画像指標を実現。
  • 取得埋め込みは細かな exemplar レベルの情報を保持しており、LAION-5B のような大規模な候補プールでも正確な画像取得を可能にしている。
Figure 2: MindEye overall schematic. A high-level “semantic” pipeline maps voxels to CLIP embeddings for image reconstruction (outputs from a diffusion prior feed through generative models like Versatile Diffusion) or retrieval tasks (such as K-nearest neighbor querying of brain embeddings to the CL
Figure 2: MindEye overall schematic. A high-level “semantic” pipeline maps voxels to CLIP embeddings for image reconstruction (outputs from a diffusion prior feed through generative models like Versatile Diffusion) or retrieval tasks (such as K-nearest neighbor querying of brain embeddings to the CL

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。