[论文解读] Modulating human brain responses via optimal natural image selection and synthetic image generation

Zijin Gu, K. A. Jamison+2 more|PubMed|Apr 18, 2023

Face Recognition and Perception参考文献 42被引用 4

一句话总结

本研究提出NeuroGen，一种数据驱动的框架，利用深度生成模型与个性化神经编码模型，设计出能最优调节fMRI中区域脑活动的合成图像与自然图像。结果表明，通过群体水平和个体水平模型定制的合成图像在特定视觉区域（尤其是aTLfaces与FBA1）引发显著更强的响应，相较自然图像而言；且个性化模型在个体特异性激活增益方面优于群体模型。

ABSTRACT

One of the main goals of neuroscience is to understand how biological brains interpret and process incoming environmental information. Building computational encoding models that map images to neural responses is one way to pursue this goal. Moreover, generating or selecting visual stimuli designed to achieve specific patterns of responses allows exploration and control of neuronal firing rates or regional brain activity responses. Here, we investigated the brain's regional activation selectivity and inter-individual differences in human brain responses to various sets of natural and synthetic (generated) images via two functional MRI (fMRI) studies. For our first fMRI study, we used a pre-trained group-level neural model for selecting or synthesizing images that are predicted to maximally activate targeted brain regions. We then presented these images to subjects while collecting their fMRI data. Our results show that optimized images indeed evoke larger magnitude responses than other images predicted to achieve average levels of activation.Furthermore, the activation gain is positively associated with the encoding model accuracy. While most regions' activations in response to maximal natural images and maximal synthetic images were not different, two regions, namely anterior temporal lobe faces (aTLfaces) and fusiform body area 1 (FBA1), had significantly higher activation in response to maximal synthetic images compared to maximal natural images. On the other hand, three regions; medial temporal lobe face area (mTLfaces), ventral word form area 1 (VWFA1) and ventral word form area 2 (VWFA2), had higher activation in response to maximal natural images compared to maximal synthetic images. In our second fMRI experiment, we focused on probing inter-individual differences in face regions' responses and found that individual-specific synthetic (and not natural) images derived using a personalized encoding model elicited significantly higher responses compared to synthetic images derived from the group-level or other subjects' encoding models. Finally, we replicated the finding showing synthetic images elicited larger activation responses in the aTLfaces region compared to natural image responses in that region. Here, for the first time, we leverage our data-driven and generative modeling framework NeuroGen to probe inter-individual differences in and functional specialization of the human visual system. Our results indicate that NeuroGen can be used to modulate macro-scale brain regions in specific individuals using synthetically generated visual stimuli.

研究动机与目标

• 开发一种利用深度生成模型与神经编码模型生成视觉刺激的框架，以最优激活目标脑区。
• 探究合成图像是否能在特定人类视觉皮层区域引发强于自然图像的fMRI响应。
• 探讨个体间脑区响应模式的差异，并评估个性化编码模型是否能提升针对特定受试者的刺激设计效果。
• 验证通过最优图像生成设计的合成刺激能否以受控的、数据驱动的方式可靠调节宏观尺度脑活动。

提出的方法

• 使用来自Natural Scenes Dataset（NSD）的fMRI数据，通过岭回归将图像特征映射到区域脑响应，训练个体特异性和群体水平的基于深度神经网络（DNN）的编码模型。
• 通过线性集成学习构建个性化编码模型，将基于单个NSD受试者数据训练的基础模型，结合来自第一阶段会话的少量前瞻性数据。
• 采用NeuroGen框架，将预训练的BigGAN-deep生成器与编码模型耦合，通过优化噪声向量以最小化损失函数，使其匹配期望的脑激活模式。
• 在“Max”条件下，损失函数为负的预测激活值加上对噪声向量的L2正则化；在“Avg”条件下，损失函数为与平均激活值的绝对差值。
• 使用线性混合效应（LME）模型结合置换检验，评估不同图像条件下响应差异的统计显著性，同时考虑受试者特异的随机效应。
• 在最终岭回归前应用高斯池化以降低特征维度，提升模型效率与泛化能力。

实验结果

研究问题

• RQ1 通过深度生成模型与编码模型框架生成的合成图像，是否能在目标脑区引发强于自然图像的fMRI响应？
• RQ2 基于个性化编码模型生成的个体特异性合成刺激，是否在相同个体中引发比基于群体水平模型生成的刺激更大的激活？
• RQ3 大脑对合成图像与自然图像的响应是否存在区域差异？哪些脑区对合成刺激表现出偏好性敏感？
• RQ4 底层编码模型的准确性与优化刺激引发的激活增益大小之间是否存在相关性？

主要发现

• 通过群体水平编码模型优化的合成图像，在所有测试脑区均引发显著高于平均预测图像的fMRI响应，证实了该优化框架的有效性。
• 在腹侧颞叶面孔区（aTLfaces）与梭状体躯体区1（FBA1），合成图像引发的激活显著高于最激活的自然图像，表明合成刺激可超越自然刺激引发更强响应。
• 相反，在内侧颞叶面孔区（mTLfaces）、腹侧词形区1（VWFA1）与VWFA2，自然图像引发的响应显著高于合成图像，凸显了脑区对刺激偏好的特异性差异。
• 基于个体特异性编码模型生成的个性化合成刺激，引发fMRI响应显著高于基于群体水平模型或其他受试者模型生成的刺激，证明了个性化设计的价值。
• 优化刺激引发的激活增益与底层编码模型的准确性呈正相关，表明模型保真度可预测刺激的有效性。
• 本研究复现了先前发现：在aTLfaces区域，合成刺激可引发大于自然刺激的响应，现通过受控的生成框架与个体层面验证得以进一步确认。