[論文レビュー] Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models

Andrew F. Luo, Margaret M. Henderson+2 more|arXiv (Cornell University)|Jun 5, 2023

Cell Image Analysis Techniques被引用数 6

ひとこと要約

BrainDiVEは、fMRI脳活動をガイドとして用いるデータ駆動型の生成フレームワークを導入し、特定の視覚皮質領域を活性化すると予測される画像を合成する。テキストプロンプトの代わりに脳活性化最大化を用いることで、細分化された機能的特徴、既知のカテゴリ選択的ROI内での新しいサブ領域の同定、行動実験による妥当性の検証が可能となり、ヒューリスティックに仮説を立てない形で人間の視覚皮質組織の理解を進める。

ABSTRACT

A long standing goal in neuroscience has been to elucidate the functional organization of the brain. Within higher visual cortex, functional accounts have remained relatively coarse, focusing on regions of interest (ROIs) and taking the form of selectivity for broad categories such as faces, places, bodies, food, or words. Because the identification of such ROIs has typically relied on manually assembled stimulus sets consisting of isolated objects in non-ecological contexts, exploring functional organization without robust a priori hypotheses has been challenging. To overcome these limitations, we introduce a data-driven approach in which we synthesize images predicted to activate a given brain region using paired natural images and fMRI recordings, bypassing the need for category-specific stimuli. Our approach -- Brain Diffusion for Visual Exploration ("BrainDiVE") -- builds on recent generative methods by combining large-scale diffusion models with brain-guided image synthesis. Validating our method, we demonstrate the ability to synthesize preferred images with appropriate semantic specificity for well-characterized category-selective ROIs. We then show that BrainDiVE can characterize differences between ROIs selective for the same high-level category. Finally we identify novel functional subdivisions within these ROIs, validated with behavioral data. These results advance our understanding of the fine-grained functional organization of human visual cortex, and provide well-specified constraints for further examination of cortical organization using hypothesis-driven methods.

研究の動機と目的

• 高次視覚皮質の機能的組織をマップする際の手作業で作成された刺激の限界を克服すること。
• 実際のfMRIデータに条件付けられた生成モデルを用いて、データ駆動的かつ仮説フリーな皮質選択性の探索を可能にすること。
• 既知のカテゴリ選択的ROI内での細分化された機能的特徴および新しいサブ領域を同定すること。
• 行動実験を用いて合成画像の意味的特徴を検証し、生態的および知覚的妥当性を保証すること。
• 大規模な生成AIを用いた、人間の視覚皮質における機能的組織の新規で客観的な発見手法を提供すること。

提案手法

• 本手法は、テキストプロンプトではなく、特定の脳領域からのfMRIボクセル活動パターンに条件付けられた事前学習済みの拡散モデルを用いる。
• 脳誘導画像生成を、CLIP埋め込みの整合性を介してターゲット脳領域での活性化を最大化する勾配最適化問題として定式化する。
• モデルは、CLIP画像埋め込みをfMRI反応に線形フィットさせた各ボクセルの重みベクトルの平均に基づいて勾配を計算し、脳信号を条件信号として効果的に利用する。
• 最適化プロセスは、生成画像を反復的に精錬することで、ターゲット脳領域のボクセル重みの合成方向とCLIP埋め込み方向を一致させる。
• 合成画像は、自然画像の事前知識と脳活性化制約の両方を満たすように拡散プロセスを最適化することで生成される。
• 本手法は大規模な自然風景画像のfMRIデータセットを活用しており、現実的かつ生態的妥当性の高い刺激生成を可能にする。

Figure 1: Images generated using BrainDiVE . Images are generated using a diffusion model with maximization of voxels identified from functional localizer experiments as conditioning. We find that brain signals recorded via fMRI can guide the synthesis of images with high semantic specificity, stren

実験結果

リサーチクエスチョン

• RQ1 fMRIガイド付きの拡散モデルは、フェイス・フォーカス領域やパラヒッポカンプス・プレイス領域といった、よく特徴付けられたカテゴリ選択的視覚皮質領域を高精度に選択的に活性化する画像を生成できるか？
• RQ2 同じ高レベルカテゴリ（例：顔や場所）に選択的である脳領域間で、機能的差異が同定可能か？
• RQ3 従来の刺激セットでは検出できない、既存のカテゴリ選択的ROI内での新しい機能的サブディビジョンを同定できるか？
• RQ4 合成画像は人間被験者に対して一貫した知覚的反応を引き起こすか？ これにより、それらの画像の意味的同一性と生態的妥当性が確認できるか？
• RQ5 脳誘導画像生成は、人間の視覚皮質の細分化された機能的構造に関する、新たな検証可能な仮説をどの程度提供できるか？

主な発見

• BrainDiVEは、扁平顔領域（FFA）や傍海馬場所領域（PPA）といったよく知られたカテゴリ選択的領域を高精度に活性化する、意味的特異性の高い画像を効果的に生成した。
• 本手法により、同じ高レベルカテゴリ内でも機能的特徴の違いが明らかになった。例えば、顔と場所に選択的である領域間で、オブジェクト構成や空間的文脈に対する感受性の違いが観察された。
• 既存のROI内に、広いカテゴリラベルを超えた特定の視覚的特徴に対して感受性が異なる、新たな機能的サブディビジョンが同定された。例として、腹側側頭皮質内に存在する、特定の視覚的特徴に応答するサブ領域が特定された。
• 行動実験により、人間被験者が合成画像の意味的コンテンツを正確に分類することが確認され、それらの知覚的および生態的妥当性が裏付けられた。
• 本手法は複数の被験者および脳領域にわたり高い頑健性を示し、V100 GPU上で1枚あたり20〜30秒の画像生成時間であった。
• 本手法は約1,500 GPU時間の計算コストを要しており、大規模な皮質探索にスケーラブルであることが示された。

Figure 2: Architecture of brain guided diffusion (BrainDiVE) . Top: Our framework consists of two core components: (1) A diffusion model trained to synthesize natural images by iterative denoising; we utilize pretrained LDMs. (2) An encoder trained to map from images to cortical activity. Our framew