[论文解读] Representational dissimilarity metric spaces for stochastic neural networks

Lyndon Duong, Jingyang Zhou+4 more|arXiv (Cornell University)|Nov 21, 2022

Morphological variations and asymmetry被引用 9

一句话总结

本文通过将确定性形状度量推广至考虑神经响应中的噪声结构与方差，为随机神经网络引入了表征差异度量空间。所提出的度量满足三角不等式，并揭示了神经生物学对视觉刺激的表征在随机几何上与未训练及已训练的深度网络相似，从而实现了基于随机形状空间对网络超参数的改进预测。

ABSTRACT

Quantifying similarity between neural representations -- e.g. hidden layer activation vectors -- is a perennial problem in deep learning and neuroscience research. Existing methods compare deterministic responses (e.g. artificial networks that lack stochastic layers) or averaged responses (e.g., trial-averaged firing rates in biological data). However, these measures of _deterministic_ representational similarity ignore the scale and geometric structure of noise, both of which play important roles in neural computation. To rectify this, we generalize previously proposed shape metrics (Williams et al. 2021) to quantify differences in _stochastic_ representations. These new distances satisfy the triangle inequality, and thus can be used as a rigorous basis for many supervised and unsupervised analyses. Leveraging this novel framework, we find that the stochastic geometries of neurobiological representations of oriented visual gratings and naturalistic scenes respectively resemble untrained and trained deep network representations. Further, we are able to more accurately predict certain network attributes (e.g. training hyperparameters) from its position in stochastic (versus deterministic) shape space.

研究动机与目标

• 解决现有表征相似性度量忽略随机神经网络中噪声结构的局限性。
• 开发一种满足三角不等式的数学上严谨的随机表征度量空间。
• 比较神经生物学与人工神经网络在视觉刺激响应下的随机几何结构。
• 利用随机而非确定性的表征空间，改进对网络属性（如训练超参数）的预测。

提出的方法

• 通过将每个输入建模为隐藏层激活的概率分布，将确定性形状度量（Williams et al., 2021）推广至随机网络。
• 利用协方差矩阵上的Bures度量定义随机网络之间的距离函数，确保对称性与三角不等式。
• 使用二次规划修复无效的距离矩阵，通过强制非负性与三角不等式约束。
• 通过奇异值分解高效计算Bures度量，利用正交Procrustes问题。
• 采用主要化-最小化算法优化距离度量，确保单调收敛。
• 使用合成数据与真实神经生物学数据（视觉刺激响应）验证该框架。

实验结果

研究问题

• RQ1 如何严格量化表现出非确定性响应的随机神经网络中的表征差异？
• RQ2 生物神经表征对视觉刺激的随机几何结构在多大程度上与人工深度网络的随机几何结构相似？
• RQ3 与确定性表征相比，随机形状空间是否能改进对网络超参数的预测？
• RQ4 噪声相关性如何影响随机网络中神经表征之间的可分性？

主要发现

• 神经生物学对定向视觉光栅的表征的随机几何结构与未训练深度网络的随机几何结构高度相似。
• 对自然场景的表征的随机几何结构更接近已训练深度网络的随机几何结构。
• 随机形状空间相比确定性表征，能更准确地预测训练超参数（如学习率、权重衰减）。
• 所提出的度量满足三角不等式，为聚类与非参数回归等下游分析提供了理论保证。
• 噪声相关性结构显著影响可分性，某些配置增强，而另一些则削弱区分不同刺激的能力。
• 该框架推广了确定性形状度量，并在噪声趋近于零的极限下收敛至确定性度量。