[论文解读] A Spectral Theory of Neural Prediction and Alignment

Abdülkadir Canatar, Jenelle Feather+2 more|arXiv (Cornell University)|Sep 22, 2023

Neural dynamics and brain function被引用 5

一句话总结

本文提出了一种谱理论，将深度神经网络（DNN）表征与其在视觉皮层中预测神经反应的能力联系起来。通过将岭回归误差分解为几何分量——误差模式半径和维度——该理论揭示了谱偏差（spectral bias）与任务-模型对齐（task-model alignment）共同决定了预测性能，从而解释了为何结构各异的DNN尽管在有效维度或激活几何上存在差异，仍能实现相似的神经可预测性。

ABSTRACT

The representations of neural networks are often compared to those of biological systems by performing regression between the neural network responses and those measured from biological systems. Many different state-of-the-art deep neural networks yield similar neural predictions, but it remains unclear how to differentiate among models that perform equally well at predicting neural responses. To gain insight into this, we use a recent theoretical framework that relates the generalization error from regression to the spectral properties of the model and the target. We apply this theory to the case of regression between model activations and neural responses and decompose the neural prediction error in terms of the model eigenspectra, alignment of model eigenvectors and neural responses, and the training set size. Using this decomposition, we introduce geometrical measures to interpret the neural prediction error. We test a large number of deep neural networks that predict visual cortical activity and show that there are multiple types of geometries that result in low neural prediction error as measured via regression. The work demonstrates that carefully decomposing representational metrics can provide interpretability of how models are capturing neural activity and points the way towards improved models of neural activity.

研究动机与目标

• 理解为何许多结构不同的深度神经网络在预测视觉皮层神经反应方面表现相似。
• 将神经预测误差分解为几何与谱分量，以揭示模型成功背后的机制。
• 超越方差解释率等标量指标，引入与泛化误差相关的可解释几何度量。
• 检验DNN激活的有效维度是否与神经预测误差相关，挑战先前假设。
• 提供一个连接DNN表征几何与基于回归的神经预测性能的理论框架。

提出的方法

• 基于统计物理原理，推导了神经预测中岭回归误差的理论分解。
• 识别出两个关键谱因素：谱偏差（数据Gram矩阵特征值的衰减速率）和任务-模型对齐（神经反应在模型特征向量上的投影）。
• 引入两个几何度量：误差模式半径（Rem）和误差模式维度（Dem），它们与泛化误差直接相关。
• 将该理论应用于在ImageNet上训练的100多个DNN，并在视觉皮层区域（V1、V4、IT）的fMRI/EEG数据上进行测试。
• 通过激活Gram矩阵特征值的参与比率测量有效维度（ED），比较完整激活与空间平均激活的结果。
• 通过修改特征值和对齐系数进行消融研究，以隔离其对预测误差的影响。

实验结果

研究问题

• RQ1 为何结构各异的深度神经网络尽管内部表征不同，仍能实现相似的神经预测性能？
• RQ2 DNN激活的谱特性及其与神经反应的对齐度如何共同决定神经预测中的回归误差？
• RQ3 DNN激活的有效维度是否与不同脑区的神经预测误差相关？
• RQ4 对DNN激活进行空间平均在多大程度上掩盖了维度与预测性能之间的真实关系？
• RQ5 几何度量如误差模式半径和维度是否能解释标准指标之外的神经预测误差变化？

主要发现

• 神经预测误差的最佳解释是谱偏差与任务-模型对齐的结合，而非仅依赖有效维度。
• 所提出的几何度量——误差模式半径（Rem）和维度（Dem）——直接捕捉了泛化误差的结构，并与观测到的预测性能强相关。
• DNN完整激活的有效维度在不同脑区中与神经预测误差无相关性，这与依赖空间平均的先前研究结果相矛盾。
• 当对DNN激活应用空间平均时，有效维度与预测误差之间出现相关性，尤其在IT和V4区域，但这是由于响应可变性损失所致。
• 该理论成功解释了为何架构和表征截然不同的模型能产生相似的神经预测：它们均实现了有利的谱偏差与对齐组合。
• 减缓特征值衰减或降低对齐度均导致预测误差增加，证实了理论分解的预测能力。