[論文レビュー] Modulating human brain responses via optimal natural image selection and synthetic image generation

Zijin Gu, K. A. Jamison+2 more|PubMed|Apr 18, 2023

Face Recognition and Perception参考文献 42被引用数 4

ひとこと要約

本研究では、深層生成モデルと個人に合わせた神経符号化モデルを用いて、fMRIにおける局所的脳活動を最適に調整する合成画像および自然画像を設計するデータ駆動型フレームワーク、NeuroGenを提案する。グループレベルおよび個人レベルのモデルを用いて調整された合成画像は、特にaTLfacesおよびFBA1という視覚領域において、自然画像と比較して顕著に強い反応を誘発することが示された。個人に合わせたモデルは、グループモデルを上回る個別に最適化された活性化を達成した。

ABSTRACT

One of the main goals of neuroscience is to understand how biological brains interpret and process incoming environmental information. Building computational encoding models that map images to neural responses is one way to pursue this goal. Moreover, generating or selecting visual stimuli designed to achieve specific patterns of responses allows exploration and control of neuronal firing rates or regional brain activity responses. Here, we investigated the brain's regional activation selectivity and inter-individual differences in human brain responses to various sets of natural and synthetic (generated) images via two functional MRI (fMRI) studies. For our first fMRI study, we used a pre-trained group-level neural model for selecting or synthesizing images that are predicted to maximally activate targeted brain regions. We then presented these images to subjects while collecting their fMRI data. Our results show that optimized images indeed evoke larger magnitude responses than other images predicted to achieve average levels of activation.Furthermore, the activation gain is positively associated with the encoding model accuracy. While most regions' activations in response to maximal natural images and maximal synthetic images were not different, two regions, namely anterior temporal lobe faces (aTLfaces) and fusiform body area 1 (FBA1), had significantly higher activation in response to maximal synthetic images compared to maximal natural images. On the other hand, three regions; medial temporal lobe face area (mTLfaces), ventral word form area 1 (VWFA1) and ventral word form area 2 (VWFA2), had higher activation in response to maximal natural images compared to maximal synthetic images. In our second fMRI experiment, we focused on probing inter-individual differences in face regions' responses and found that individual-specific synthetic (and not natural) images derived using a personalized encoding model elicited significantly higher responses compared to synthetic images derived from the group-level or other subjects' encoding models. Finally, we replicated the finding showing synthetic images elicited larger activation responses in the aTLfaces region compared to natural image responses in that region. Here, for the first time, we leverage our data-driven and generative modeling framework NeuroGen to probe inter-individual differences in and functional specialization of the human visual system. Our results indicate that NeuroGen can be used to modulate macro-scale brain regions in specific individuals using synthetically generated visual stimuli.

研究の動機と目的

• 深層生成モデルと神経符号化モデルを用いて、標的の脳領域を最適に活性化する視覚刺激を生成するフレームワークを開発すること。
• 合成画像が特定の人間視覚皮質領域において、自然画像よりも強いfMRI反応を誘発できるかどうかを調査すること。
• 脳反応パターンにおける個体間差を調査し、個人に合わせた符号化モデルが個別被験者向けの刺激設計をどのように改善するかを評価すること。
• 最適画像生成を用いて設計された合成刺激が、制御的かつデータ駆動的な方法でマクロスケール脳活動を信頼性高く調整できることを検証すること。

提案手法

• 自然シーンデータセット（NSD）のfMRIデータを用いて、画像特徴量を領域ごとの脳反応にマッピングするリッジ回帰を用いて、被験者固有およびグループレベルの深層ニューラルネットワーク（DNN）ベースの符号化モデルを訓練した。
• 小規模なプロスペクティブデータ（セッション1）を用いて、個別NSD被験者のデータで訓練されたベースモデルを線形アンサンブル学習で統合し、個人に合わせた符号化モデルを構築した。
• 事前に訓練されたBigGAN-deep生成器と符号化モデルを結合したNeuroGenフレームワークを採用し、目的の脳活性化パターンと一致するように損失関数を最小化するノイズベクトルを最適化した。
• 'Max'条件下では、損失関数が予測された活性化の負の値に加え、ノイズベクトルに対するL2正則化を含んだものとした。'Avg'条件下では、平均活性化からの絶対差を損失とした。
• 被験者固有のランダム効果を考慮し、反応差の統計的有意性を評価するために、線形混合効果（LME）モデルとパーミュテーション検定を用いた。
• 最終のリッジ回帰の効率性と一般化性能を向上させるために、特徴量次元を低減するためのガウスプーリングを適用した。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルと符号化モデルのフレームワークを用いて生成された合成画像は、標的の脳領域において自然画像よりも強いfMRI反応を誘発できるか？
• RQ2 個人に合わせた符号化モデルから導出された合成刺激は、同じ被験者においてグループレベルのモデルから導出された刺激よりも高い活性化を生じるか？
• RQ3 合成画像と自然画像に対する脳の反応に領域差があるか。特に、合成刺激に対して感受性が高い領域はどれか？
• RQ4 下位の符号化モデルの正確さと、最適化された刺激に対する活性化増幅の大きさとの相関関係は何か？

主な発見

• グループレベルの符号化モデルを用いて最適化された合成画像は、全テスト領域において平均予測画像よりも顕著に高いfMRI反応を示した。これにより、最適化フレームワークの有効性が裏付けられた。
• 前側側頭葉顔領域（aTLfaces）および側頭下部領域1（FBA1）において、合成画像は最も活性化の強い自然画像よりも顕著に高い活性化を示した。これは、合成刺激が自然刺激を上回る反応を誘発できることを示している。
• 逆に、内側側頭葉顔領域（mTLfaces）、腹側語形態領域1（VWFA1）、およびVWFA2では、自然画像が合成画像よりも顕著に高い反応を示した。これは、刺激好みの領域特異的差異を示している。
• 個人に合わせた合成刺激（個別符号化モデルから導出）は、グループレベルのモデルや他の被験者のモデルから導出された刺激よりも顕著に高いfMRI反応を示した。これは、個人化の価値を示している。
• 最適化された刺激からの活性化増幅は、下位の符号化モデルの正確さと正の相関関係にあった。これは、モデルの正確さが刺激の有効性を予測できることを示唆している。
• 本研究では、合成刺激がaTLfaces領域で自然刺激よりも大きな反応を誘発できるという先行研究の結果を再現した。今回は、制御された生成フレームワークと個別被験者による検証を伴った。