[论文解读] How can deep learning advance computational modeling of sensory information processing?

Jessica A. F. Thompson, Yoshua Bengio+2 more|arXiv (Cornell University)|Sep 25, 2018

Neural dynamics and brain function参考文献 26被引用 13

一句话总结

本文主张，深度神经网络（DNNs）通过实现更符合生物学原理、基于数据的表征，显著推进了感官信息处理的计算建模，弥合了认知层次理论与神经实现之间的鸿沟。通过将DNNs与代表相似性分析（RSA）和编码模型等神经影像技术相结合，作者表明，DNNs能够得出关于感官处理通路中神经表征形式与内容的更强、更具可解释性的结论。

ABSTRACT

Deep learning, computational neuroscience, and cognitive science have overlapping goals related to understanding intelligence such that perception and behaviour can be simulated in computational systems. In neuroimaging, machine learning methods have been used to test computational models of sensory information processing. Recently, these model comparison techniques have been used to evaluate deep neural networks (DNNs) as models of sensory information processing. However, the interpretation of such model evaluations is muddied by imprecise statistical conclusions. Here, we make explicit the types of conclusions that can be drawn from these existing model comparison techniques and how these conclusions change when the model in question is a DNN. We discuss how DNNs are amenable to new model comparison techniques that allow for stronger conclusions to be made about the computational mechanisms underlying sensory information processing.

研究动机与目标

• 阐明在神经影像学中，当评估的模型为深度神经网络（DNNs）时，可从中得出的结论类型。
• 解决传统方法（如MVPA和编码模型）在捕捉多变量、分布式神经表征方面的局限性。
• 倡导使用DNNs作为更具生物学合理性的模型，能够从数据中学习复杂、分层的表征。
• 提出通过共同表征空间将DNNs与脑活动数据整合，实现模型与神经表征的直接比较。
• 通过使用DNNs约束和启发计算理论与神经实现，推进认知神经科学中的“由内而外”方法。

提出的方法

• 利用代表相似性分析（RSA）比较脑活动的多变量模式与计算模型的模式，实现跨模态和跨物种比较。
• 采用编码模型，从刺激特征预测神经活动，其扩展形式可实现反演以恢复多变量信息。
• 提出通过将DNNs和神经影像数据投影到共享表征空间，实现DNNs与神经影像数据的直接整合，从而在处理阶段之间进行评估。
• 应用图论方法，从功能或结构磁共振成像（fMRI/sMRI）数据中定义脑图，可用作对齐DNN架构与脑区的模板。
• 利用DNNs的分层、分层结构来建模整个感官处理通路，而非将各层视为独立模型。
• 使用模式成分建模（PCM）分析表征差异矩阵（DSMs）的成分，实现对模型与神经表征的更细致比较。

实验结果

研究问题

• RQ1 当评估的模型为深度神经网络（DNN）时，信息基础神经影像学方法可可靠得出哪些类型的结论？
• RQ2 DNNs在捕捉感官处理中神经表征的形式与内容方面，相较于传统线性模型有何改进？
• RQ3 DNNs在何种方式下可用于弥合神经生物学与认知层次分析之间的粒度差异？
• RQ4 是否可以设计DNNs以与特定脑区或网络对齐，从而实现人工系统与生物系统之间表征结构的直接比较？
• RQ5 如何利用DNNs的分层结构来建模完整的感官处理通路，而非孤立的处理阶段？

主要发现

• 与传统线性模型相比，DNNs在模型比较能力上表现更强，因为其能够学习复杂、分布式的表征，更好地反映感官输入中的统计不变性。
• DNNs的分层架构使其能够建模整个感官处理通路，从而实现对各阶段之间表征转换的更全面评估。
• DNNs在事后可解释性方面优于线性模型，因为其学习到的特征可被可视化、描述或聚类，以揭示有意义的功能单元。
• 通过共享表征空间实现DNNs与神经影像数据的直接整合，可实现对表征内容与形式的更稳健比较。
• 从功能或结构磁共振成像中导出的基于图的脑模板可用于将DNN架构与特定脑区对齐，从而促进有针对性的模型比较。
• DNNs能够以数据驱动的方式发现候选神经表征，其受网络行为和与测量神经反应相似性的双重约束，从而推进认知神经科学中的“由内而外”方法。