[論文レビュー] MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion

Yizhuo Lu, Changde Du+2 more|arXiv (Cornell University)|Mar 24, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

MindDiffuserは、CLIPのテキスト埋め込み、VQ-VAEの潜在変数、CLIPの視覚的特徴を組み合わせることで、fMRIデータから意味的に正確かつ構造的に整合性のある画像を再構築する2段階の拡散モデルである。バックプロパゲーションを用いた反復的精錬によって意味的整合性と構造的整合性を同時に最適化することで、Natural Scenes Dataset (NSD) において最先端の性能を達成している。

ABSTRACT

Reconstructing visual stimuli from measured functional magnetic resonance imaging (fMRI) has been a meaningful and challenging task. Previous studies have successfully achieved reconstructions with structures similar to the original images, such as the outlines and size of some natural images. However, these reconstructions lack explicit semantic information and are difficult to discern. In recent years, many studies have utilized multi-modal pre-trained models with stronger generative capabilities to reconstruct images that are semantically similar to the original ones. However, these images have uncontrollable structural information such as position and orientation. To address both of the aforementioned issues simultaneously, we propose a two-stage image reconstruction model called MindDiffuser, utilizing Stable Diffusion. In Stage 1, the VQ-VAE latent representations and the CLIP text embeddings decoded from fMRI are put into the image-to-image process of Stable Diffusion, which yields a preliminary image that contains semantic and structural information. In Stage 2, we utilize the low-level CLIP visual features decoded from fMRI as supervisory information, and continually adjust the two features in Stage 1 through backpropagation to align the structural information. The results of both qualitative and quantitative analyses demonstrate that our proposed model has surpassed the current state-of-the-art models in terms of reconstruction results on Natural Scenes Dataset (NSD). Furthermore, the results of ablation experiments indicate that each component of our model is effective for image reconstruction.

研究の動機と目的

• fMRI信号から意味的に正確かつ構造的に精密な画像再構築という二重の課題に取り組む。
• 先行手法の限界を克服する：最適化手法は意味的豊かさに欠けるが、生成モデルは構造的制御に欠ける。
• fMRI反応の被験者間ばらつきがあっても、強固で被験者に依存しない画像再構築を可能にする。
• マルチモーダル事前学習モデル（CLIP、Stable Diffusion）を活用して、再構築品質と制御性を向上させる。

提案手法

• 段階1ではfMRIをCLIPのテキスト埋め込み（c）とVQ-VAEの潜在コード（z）にデコードし、zにノイズを付加して拡散用のz_Tを形成する。
• Stable Diffusionの画像から画像へのノイズ除去におけるクロスアテンションを用い、cとz_Tを統合することで、意味的および詳細情報を含む初期画像を生成する。
• 段階2では、fMRIから復元されたCLIPの低レベル視覚的特徴を監視信号として用い、バックプロパゲーションをガイドする。
• 再構築画像の構造が元の画像と一致するように、cとzの潜在特徴をバックプロパゲーションで継続的に精錬する。
• 2段階の訓練フリー推論パイプラインを採用：まず意味的に妥当な画像を生成し、次に勾配ベースの精錬によって構造を最適化する。
• 離散的潜在表現にはVQ-VAEを、高精度な画像生成と条件付き制御にはStable Diffusionを用いる。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは、fMRIから画像への再構築において、意味的整合性と構造的整合性の両方を同時に高い水準で達成できるか？
• RQ2 CLIPのテキストおよび視覚的特徴の統合は、fMRIからの画像生成をどの程度効果的にガイドするか？
• RQ3 細粒度の潜在的詳細（z）は、最適化の安定性と再構築品質にどの程度影響を与えるか？
• RQ4 被験者間のfMRIばらつきがあっても、再トレーニングやファインチューニングなしにモデルが被験者間で一般化可能か？
• RQ5 2段階の精錬プロセスは、エンドツーエンド最適化やランダムなz初期化と比較して、再構築品質においてどの程度優れているか？

主な発見

• MindDiffuserは、Natural Scenes Dataset (NSD) において、定性的および定量的評価の両面で最先端のモデルを上回っている。
• アブレーションスタディにより、CLIPのテキスト特徴（c）と復元された低レベル視覚的特徴が、高品質な再構築に不可欠であることが確認された。
• VQ-VAEの潜在コードzをランダムに初期化すると最適化が劣悪に収束するが、復元されたzを使用することで安定的かつ正確な最適化が可能になる。
• 被験者1、2、5、7に対して、いかなる被験者特化処理を施さずに意味的・構造的に整合性のある再構築が達成された。
• 「夕焼けの飛行機」や「バスルーム」のような複雑な刺激の再構築では、形状・方向・意味的コンテンツの両面で高い忠実度が得られた。
• CLIPの視覚的特徴を監視信号として用いることで、特に初期の最適化段階において構造的整合性が顕著に向上した。