[論文レビュー] Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding

Zijiao Chen, Jiaxin Qing+3 more|arXiv (Cornell University)|Nov 13, 2022

Functional Brain Connectivity Studies被引用数 8

ひとこと要約

MinD-Vis は、スパースマスクドブレインモデリング（SC-MBM）とダブルコンdition付けされた潜在拡散モデル（DC-LDM）を用いた fMRI を用いた視覚デコードのための二段階フレームワークを提案する。マスクドモデリングにより大規模なラベルなし fMRI データ上で事前学習することで生物学的に妥当な表現を学び、その後少数の対応する fMRI-画像アノテーションを用いて微調整することで、最先端の性能を達成し、FID を 41% 減少させ、従来手法と比較して 100 ワイズの意味的分類精度を 66% 向上させた。

ABSTRACT

Decoding visual stimuli from brain recordings aims to deepen our understanding of the human visual system and build a solid foundation for bridging human and computer vision through the Brain-Computer Interface. However, reconstructing high-quality images with correct semantics from brain recordings is a challenging problem due to the complex underlying representations of brain signals and the scarcity of data annotations. In this work, we present MinD-Vis: Sparse Masked Brain Modeling with Double-Conditioned Latent Diffusion Model for Human Vision Decoding. Firstly, we learn an effective self-supervised representation of fMRI data using mask modeling in a large latent space inspired by the sparse coding of information in the primary visual cortex. Then by augmenting a latent diffusion model with double-conditioning, we show that MinD-Vis can reconstruct highly plausible images with semantically matching details from brain recordings using very few paired annotations. We benchmarked our model qualitatively and quantitatively; the experimental results indicate that our method outperformed state-of-the-art in both semantic mapping (100-way semantic classification) and generation quality (FID) by 66% and 41% respectively. An exhaustive ablation study was also conducted to analyze our framework.

研究の動機と目的

• ラベル付き対応データが限られる fMRI 記録から高品質で意味的に意味のある画像を再構成する課題に対処すること。
• 大規模な潜在空間における自己教師ありマスクドモデリングを活用して、一般化可能で生物学的に妥当な fMRI 表現を学ぶこと。
• 潜在拡散モデルにダブルコンディショニングを組み込むことで、脳デコードにおける画像生成の忠実度と意味的整合性を向上させること。
• 個々の被験者間のばらつきや fMRI プrotocols のドメインシフトにもかかわらず、多様な被験者およびデータセットに対して堅牢なデコードを可能にすること。
• 再構成された画像が、刺激の内容だけでなく、想像されたものや知覚的詳細を含む内部生成された要因も捉えられるかどうかを検討すること。

提案手法

• SC-MBM は、一次視覚皮質におけるスパースコーディングを模倣するように、大規模なラベルなし fMRI データセット上でマスクドモデリングを用いて fMRI 表現を事前学習する。
• 表現からデータ空間への比を大きくすることで、情報容量と表現品質を向上させる。
• ダブルコンディショニングされた潜在拡散モデル（DC-LDM）を用いて、fMRI でエンコードされた特徴量と意味的ラベルの両方に条件付けられた画像生成を実現し、同じ意味的条件下でも多様な生成を可能にする。
• フレームワークは事前学習と生成の分離を実現する：SC-MBM が最初に一般化された脳表現を学び、その後、少数の対応 fMRI-画像データで拡散モデルを微調整する。
• 事前学習済みの fMRI エンコーダーは、ROI サイズの変動に対応するためのラップアラウンドパディングを用いて、ターゲットデータセット（例：BOLD5000）で微調整される。
• 定量的指標（FID、トップ-1 正解率）と、生成画像の意味的整合性および低レベル特徴の定性的分析を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし fMRI データ上で自己教師ありマスクドモデリングを適用することで、被験者やデータセットをまたいで一般化可能な生物学的に妥当な表現を学習できるか？
• RQ2 潜在拡散モデルにおけるダブルコンディショニングが、fMRI を用いた画像再構成における意味的整合性と生成品質を向上させるか？
• RQ3 このフレームワークは、主な視覚的コンテンツに加え、元の刺激に存在しない微細な知覚的詳細、例えば想像された要素までも再構成できるか？
• RQ4 少量の対応データ設定下でモデルの性能はどのようになるか？また、意味的および知覚的品質の両面で、既存の最先端手法を上回るか？
• RQ5 学習された表現が、異なる fMRI スキャンプロトコルや前処理パイプラインに対してもどの程度一般化可能か？

主な発見

• GOD データセットにおいて、MinD-Vis は最先端手法と比較して 100 ワイズの意味的分類精度を 66% 向上させた。
• 同じベンチマークで Fréchet Inception Distance (FID) を 41% 減少させ、優れた画像生成品質を示した。
• BOLD5000 データセットでは、50 ワイズ、1000 回の試行における意味的識別タスクでトップ-1 正解率が 34% を達成し、異なるデータセット間での強力な一般化能力を示した。
• 生成画像はテクスチャ、形状、色といった重要な低レベル特徴を保持しており、動物、建造物、風景といった複雑なシーンを正確に再構成した。
• モデルは元の刺激に存在しない追加の知覚的詳細（例：川、青空）を成功裏にデコードし、想像されたか、内部で生成された視覚的コンテンツを捉えている可能性を示唆した。
• SC-MBM を用いた事前学習により、スキャンプロトコルや前処理のドメインシフトが生じても、BOLD5000 で強力な転移性能を発揮し、学習された表現の一般化可能性を確認した。