[论文解读] Modeling Category-Selective Cortical Regions with Topographic Variational Autoencoders

T. Anderson Keller, Qinghe Gao+1 more|arXiv (Cornell University)|Oct 25, 2021

Cell Image Analysis Techniques被引用 7

一句话总结

本文提出一种地形变分自编码器（TVAE），以无监督方式建模人类大脑皮层中类别选择性区域的出现。通过在潜在表征中施加地形先验以实现空间组织，该模型生成了密集且空间定位的神经簇，对人脸、人体和场景具有选择性，展示了类似人类腹侧颞叶皮层的、逐层抽象化的嵌套层次结构。

ABSTRACT

Category-selectivity in the brain describes the observation that certain spatially localized areas of the cerebral cortex tend to respond robustly and selectively to stimuli from specific limited categories. One of the most well known examples of category-selectivity is the Fusiform Face Area (FFA), an area of the inferior temporal cortex in primates which responds preferentially to images of faces when compared with objects or other generic stimuli. In this work, we leverage the newly introduced Topographic Variational Autoencoder to model the emergence of such localized category-selectivity in an unsupervised manner. Experimentally, we demonstrate our model yields spatially dense neural clusters selective to faces, bodies, and places through visualized maps of Cohen's d metric. We compare our model with related supervised approaches, namely the Topographic Deep Artificial Neural Network (TDANN) of Lee et al., and discuss both theoretical and empirical similarities. Finally, we show preliminary results suggesting that our model yields a nested spatial hierarchy of increasingly abstract categories, analogous to observations from the human ventral temporal cortex.

研究动机与目标

• 探究具有地形归纳偏置的无监督学习是否能够重现人类大脑中观察到的空间定位、类别选择性组织。
• 建模层次化类别选择性的出现，包括上位类别（如动物与非动物）和下位类别（如人类面孔与动物面孔）的区分。
• 将 TVAE 的性能与结构组织与监督模型（如 TDANN）进行比较，重点关注空间一致性和选择性。
• 评估地形组织是否起到正则化作用，提升归纳偏置，同时不牺牲生成性能。

提出的方法

• 该模型采用地形变分自编码器（TVAE），通过使用二维环面拓扑和局部邻域池化，在潜在空间中强制实现空间连续性。
• 潜在表征的结构设计为：2D 网格中相邻神经元对相似的刺激类别产生偏好响应，模拟皮层柱状组织。
• TVAE 使用随机梯度下降进行端到端训练，目标函数为变分下界，包含空间相关性损失，以鼓励相邻神经元具有相关激活。
• 对潜在特征图应用空间相关性损失，惩罚基于皮层距离（单位：毫米）的预期相关性偏差，促进地形有序性。
• 模型使用 25×25 的卷积核计算局部空间统计量，强制潜在编码中的局部相似性。
• 模型在类似 ImageNet 的数据上进行训练，采用标准化预处理：调整大小至 224×224，随机裁剪，并使用 ImageNet 统计量进行归一化。

实验结果

研究问题

• RQ1 无监督、地形正则化的 VAE 模型能否重现人类皮层区域（如 FFA、PPA 和 EBA）中观察到的空间定位、类别选择性神经簇？
• RQ2 TVAE 是否生成了类似人类腹侧颞叶皮层中观察到的、逐层抽象化的嵌套空间层次结构？
• RQ3 与监督基线（如地形深度人工神经网络，TDANN）相比，TVAE 的性能和选择性如何？
• RQ4 地形组织在多大程度上起到正则化作用，提升归纳偏置，同时保持生成能力？

主要发现

• TVAE 有效生成了对人脸、人体和场景具有选择性的空间密集神经簇，通过 Cohen’s d 图可视化验证。
• 该模型展示了类别选择性的嵌套空间层次结构，高层级类别（如动物与非动物）以重叠、分层的模式出现。
• 与监督基线 TDANN 相比，TVAE 实现了定性相似的层次化组织，尽管选择性一致性的视觉差异较难量化。
• 非地形 VAE 基线显示出显著降低的类别选择性，大多数神经元对所有刺激均有激活，表明地形结构增强了神经元特化。
• TVAE 的对数似然性能略低于非地形 VAE，表明地形组织起到了正则化作用，以牺牲部分生成能力为代价，提升了归纳偏置。
• 空间相关性损失有效强制实现地形有序性，当超参数调整至与原始 TDANN 设置一致时，结果与先前工作一致。