[論文レビュー] Natural scene reconstruction from fMRI signals using generative latent diffusion

Furkan Özçelik, Rufin VanRullen|arXiv (Cornell University)|Mar 9, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、fMRI信号から低レベルの画像特徴を生成するための非常に深い変分オートエンコーダー（VDVAE）を最初に用い、その後、テキストおよび視覚のマルチモーダルCLIP特徴（テキストと視覚）に条件付けられた潜在空間の拡散モデル（Versatile Diffusion）を用いて、高精細で意味的に整合性のあるシーン再構成を生成する、二段階のfMRIベースの自然風景再構成フレームワーク「Brain-Diffuser」を提案する。本手法は、自然風景データセット（NSD）において、定量的・定性的な指標の両面で、先行モデルを上回る最先端の性能を達成した。

ABSTRACT

In neural decoding research, one of the most intriguing topics is the reconstruction of perceived natural images based on fMRI signals. Previous studies have succeeded in re-creating different aspects of the visuals, such as low-level properties (shape, texture, layout) or high-level features (category of objects, descriptive semantics of scenes) but have typically failed to reconstruct these properties together for complex scene images. Generative AI has recently made a leap forward with latent diffusion models capable of generating high-complexity images. Here, we investigate how to take advantage of this innovative technology for brain decoding. We present a two-stage scene reconstruction framework called ``Brain-Diffuser''. In the first stage, starting from fMRI signals, we reconstruct images that capture low-level properties and overall layout using a VDVAE (Very Deep Variational Autoencoder) model. In the second stage, we use the image-to-image framework of a latent diffusion model (Versatile Diffusion) conditioned on predicted multimodal (text and visual) features, to generate final reconstructed images. On the publicly available Natural Scenes Dataset benchmark, our method outperforms previous models both qualitatively and quantitatively. When applied to synthetic fMRI patterns generated from individual ROI (region-of-interest) masks, our trained model creates compelling ``ROI-optimal'' scenes consistent with neuroscientific knowledge. Thus, the proposed methodology can have an impact on both applied (e.g. brain-computer interface) and fundamental neuroscience.

研究の動機と目的

• 複雑で多数のオブジェクトを含む自然風景をfMRI信号から再構成する課題に取り組むこと。これは、従来の手法が、低レベルの視覚的詳細と高レベルの意味的特徴の両方を保持するのを困難としてきた。
• 生成的AI分野の最新進展、特に潜在空間の拡散モデルを活用して、fMRIからの脳のデコードと画像再構成を改善すること。
• fMRI由来の表現とマルチモーダル条件付け（テキストおよび視覚特徴）を統合するフレームワークを構築し、より現実的で意味的に正確な再構成を生成すること。
• 自然風景データセット（NSD）における挑戦的で、多数のオブジェクトを含み、豊富な意味的コンテンツを持つCOCO画像を含む、複雑な多様な画像を含む、NSD上でモデルの能力を検証すること。
• 領域の選択的活性化（ROI）マスクから得られる合成fMRIパターンから「ROI最適化」された刺激を生成することで、脳機能の解明に役立つことを示すこと。

提案手法

• フレームワークは二段階のプロセスを用いる：まず、VDVAEモデルがfMRI信号から低レベルの画像特徴（例：レイアウト、テクスチャ）を再構成し、潜在表現を生成する。
• 次に、VDVAEの出力から導出されたCLIP-テキストおよびCLIP-ビジョン特徴に条件付けられた、潜在空間の拡散モデル（Versatile Diffusion）が、最終的な高解像度画像を生成する。
• マルチモーダル特徴はCLIPを用いて抽出され、テキストと画像の埋め込みがアライメントされているため、意味的に整合性のある再構成へと誘導する。
• 多ボクセルfMRI活性パターンをVDVAEと拡散モデルの潜在空間にマップするため、リッジ回帰モデルのみをトレーニングすることで、エンドツーエンドのトレーニングの必要を最小限に抑える。
• フレームワークは、実際のfMRIデータと、ROIマスクから生成された合成fMRIパターンの両方を用いて、自然風景データセット（NSD）で評価される。
• 事前学習済みモデル（VDVAE、Versatile Diffusion、CLIP）を用いることで、生成コンponentsの再トレーニングなしに、fMRIデコードへの効率的適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の拡散モデルは、fMRI信号から複雑で多数のオブジェクトを含む自然風景を再構成するために効果的に活用可能であり、低レベルの視覚的構造と高レベルの意味的コンテンツの両方を保持できるか？
• RQ2 テキストと視覚のCLIP特徴の両方に条件付けられたマルチモーダル条件付けは、単一モーダルまたは無条件のモデルと比較して、fMRIベースの画像再構成の忠実性と現実性をどの程度向上させるか？
• RQ3 ROIマスクから導出された合成fMRIパターンを用いて、脳領域の機能的特徴を反映する「最適」な刺激を生成できるか、その程度はどの程度か？
• RQ4 二段階フレームワーク（VDVAEによる低レベル再構成と、その後の拡散による精錬）は、エンドツーエンドの生成モデルと比較して、fMRIからの複雑なシーン再構成において優れた性能を示すか？
• RQ5 提案手法は、特定のROIを特異的に活性化する刺激を生成することで、視覚皮質領域の機能的特異性を解明するための一般化が可能か？

主な発見

• Brain-Diffuserは、自然風景データセット（NSD）において、定量的・定性的な両評価で、先行する最先端手法を上回り、より自然で意味的に整合性のある再構成を生成した。
• モデルは、シーンのレイアウトや意味的特徴の主要な側面を保持しており、正確な真値との一致がなくても、以前の手法よりも知覚的に現実的である再構成を生成した。
• 個々のROIマスクから生成された合成fMRIパターンに適用した場合、知られている神経科学的原則に整合した「ROI最適化」されたシーンを生成した。
• CLIP-テキストおよびCLIP-ビジョン特徴の二重条件付けを用いることで、単一モーダルまたは無条件のモデルと比較して、再構成品質が顕著に向上した。
• Takagiら[22]およびChenら[20]を含む、先行手法と比較して、高レベル（例：CLIPベースの類似度）および低レベル（例：知覚的）の両方の指標で、優れた性能を達成した。
• 結果から、事前学習済みの生成的モデルが、fMRIデコードに最小限のファインチューニングで効果的に適応可能であることが示された。リッジ回帰を用いてfMRI活性を潜在空間にマップするのみで十分である。