[论文解读] Dissimilarity learning via Siamese network predicts brain imaging data

Aakash Agrawal|arXiv (Cornell University)|Jul 1, 2019

Neural dynamics and brain function参考文献 13被引用 4

一句话总结

本文提出了一种基于孪生网络的差异性学习框架，直接在神经差异性数据上进行训练，以预测脑成像响应。通过将对比损失函数修改为预测图像对特征之间的相关性距离，该模型在MEG数据集上实现了最先进性能，尤其在早期视觉皮层（EVC）和晚期颞叶（IT）响应方面表现优异，优于基于标准分类的模型，尤其在信噪比高的神经数据上表现更佳。

ABSTRACT

The advent of deep learning has a profound effect on visual neuroscience. It paved the way for new models to predict neural data. Although deep convolutional neural networks are explicitly trained for categorization, they learn a representation similar to a biological visual system. But categorization is not the only goal of the human visual system. Hence, the representation of a classification algorithm may not completely explain the visual processing stages. Here, I modified the traditional Siamese network loss function (Contrastive loss) to train them directly on neural dissimilarity. This network takes image pair as input and predicts the correlation distance between their output features. For Algonauts challenge, using dissimilarity learning, I fine-tuned the initial layers of Alexnet to predict MEG early response/EVC data and all the layers of VGG-16 to predict MEG late response/IT data. This approach is ideal for datasets with high SNR. Therefore, my model achieved state-of-the-art performance on MEG dataset but not fMRI.

研究动机与目标

• 开发一种深度学习框架，直接建模神经差异性，而非依赖于基于分类的表征。
• 通过在图像对之间的相关性距离上进行训练，提升脑成像响应（尤其是MEG数据）的预测性能。
• 解决标准CNN的局限性，即其优化目标为分类，但可能无法充分捕捉视觉处理的功能层次结构。
• 探究差异性学习是否比传统分类目标更符合生物视觉处理阶段。
• 在MEG数据上评估性能，其信噪比较高，同时与信噪比较低的fMRI数据进行对比。

提出的方法

• 将孪生网络适配为预测图像对特征嵌入之间的相关性距离，采用修改后的对比损失函数。
• 端到端地在图像对上进行网络训练，输出为它们深层特征之间预测的差异性（相关性距离）。
• 微调AlexNet的早期层以预测MEG早期响应（EVC）数据，微调VGG-16的所有层以预测MEG晚期响应（IT）数据。
• 使用重加权的对比损失函数，强调在特征空间中学习有意义的差异性，而非分类准确率。
• 优化神经差异性的直接回归，使网络能够学习与实际脑响应模式对齐的表征。
• 将训练好的模型应用于预测脑成像数据中的神经响应，尤其聚焦于高信噪比的MEG记录。

实验结果

研究问题

• RQ1 在神经差异性上进行训练的孪生网络，是否能在预测脑成像响应方面优于标准的基于分类的模型？
• RQ2 直接差异性学习是否比为分类优化的表征学习更能捕捉人类视觉系统功能组织？
• RQ3 差异性学习在高信噪比（MEG）和低信噪比（fMRI）神经成像模态之间的性能表现有何差异？
• RQ4 对预训练网络（如AlexNet、VGG-16）进行微调，在利用差异性信号预测特定脑区（EVC与IT）响应方面，能提升多少性能？
• RQ5 修改后的对比损失函数是否能有效训练网络，以预测神经特征表征之间的相关性距离？

主要发现

• 所提出的差异性学习方法在MEG数据集上实现了最先进性能，尤其在早期视觉皮层（EVC）和晚期颞叶（IT）响应方面表现突出。
• 该模型在信噪比高的MEG数据上优于标准的基于分类的方法，表明其适用于高质量神经记录。
• 微调AlexNet的初始层显著提升了对MEG早期响应（EVC）数据的预测性能，表明其与早期视觉处理阶段具有对齐性。
• 微调VGG-16的所有层显著增强了对MEG晚期响应（IT）数据的预测性能，表明其能有效建模高层视觉处理。
• 该方法在fMRI数据上未达到最先进性能，可能由于fMRI信噪比较低，限制了基于差异性的训练效果。
• 修改后的对比损失函数成功使网络学习到与实际神经响应相关联的有意义差异性表征。