[论文解读] Generalized Shape Metrics on Neural Representations

Alex H. Williams, Erin M. Kunz+2 more|PubMed|Oct 27, 2021

Morphological variations and asymmetry参考文献 1被引用 21

一句话总结

本文提出了一种广义的度量空间框架，用于量化神经网络中的表征差异性，通过三角不等式确保数学严谨性。通过改进典型相关分析并引入卷积层感知度量，该方法实现了对数千个人工和生物网络的稳健、可解释的分析，经验验证表明其在预测解剖层次结构和深度学习架构性能相关性方面具有强大预测能力。

ABSTRACT

Understanding the operation of biological and artificial networks remains a difficult and important challenge. To identify general principles, researchers are increasingly interested in surveying large collections of networks that are trained on, or biologically adapted to, similar tasks. A standardized set of analysis tools is now needed to identify how network-level covariates-such as architecture, anatomical brain region, and model organism-impact neural representations (hidden layer activations). Here, we provide a rigorous foundation for these analyses by defining a broad family of metric spaces that quantify representational dissimilarity. Using this framework, we modify existing representational similarity measures based on canonical correlation analysis and centered kernel alignment to satisfy the triangle inequality, formulate a novel metric that respects the inductive biases in convolutional layers, and identify approximate Euclidean embeddings that enable network representations to be incorporated into essentially any off-the-shelf machine learning method. We demonstrate these methods on large-scale datasets from biology (Allen Institute Brain Observatory) and deep learning (NAS-Bench-101). In doing so, we identify relationships between neural representations that are interpretable in terms of anatomical features and model performance.

研究动机与目标

• 开发一种数学上严谨的框架，用于比较大规模人工和生物网络中的神经表征。
• 解决现有相似性度量违反三角不等式的局限性，该问题会妨碍下游机器学习工作流。
• 创建针对卷积神经网络归纳偏置的新型度量。
• 实现神经表征度量空间的低失真欧几里得嵌入，以便与现成的机器学习方法集成。
• 在神经科学（Allen Brain Observatory）和深度学习（NAS-Bench-101）的大规模数据集上展示该框架的实用性。

提出的方法

• 定义一个满足对称性和三角不等式的广义度量空间族，将现有表征相似性度量转化为正规度量。
• 修改典型相关分析（CCA），以确保度量属性，从而在 k-NN 和层次聚类中使用时具备理论保证。
• 提出一种尊重卷积层归纳偏置的新度量，提升与网络架构归纳偏置的一致性。
• 使用多维缩放（MDS）将神经表征度量空间嵌入低维欧几里得空间，实现最小失真。
• 在 MDS 嵌入上应用核岭回归，以从神经数据的功能响应中预测结构特征（如解剖层次结构）。
• 在嵌入的度量空间上利用现成的机器学习流水线（如聚类、回归和分类）实现可扩展分析。

实验结果

研究问题

• RQ1 现有的表征相似性度量能否系统性地转化为满足三角不等式的正规度量空间？
• RQ2 如何构建尊重网络架构归纳偏置（如卷积层）的神经表征度量空间？
• RQ3 在多大程度上可将神经表征度量空间以低失真方式嵌入低维欧几里得空间？
• RQ4 这些嵌入能否实现对数以千计网络的新颖、可扩展分析，例如从功能响应预测解剖层次结构？
• RQ5 在大规模人工网络集合中，早期层与深层表征之间存在何种关系？

主要发现

• 所提出的框架成功将非度量相似性度量转化为正规度量，使其可在 k-NN 和层次聚类中可靠使用。
• 新型卷积层感知度量捕捉了架构的归纳偏置，并在卷积神经网络中提升了表征对齐性。
• 使用 L=20 嵌入维度的多维缩放，相比 L=2，显著提升了对真实度量空间的近似效果，该结论在可视化和回归任务中得到验证。
• 在 MDS 嵌入上应用核岭回归，在从小鼠视觉皮层视觉响应预测解剖层次评分任务中实现了强预测性能，误差条反映了 100 次 MDS 运行的一致性。
• 在 NAS-Bench-101 中，发现在 432,000 个架构中，早期层与深层表征之间存在出人意料的强相关性，表明存在共享的表征动力学。
• 该框架实现了大规模神经网络集合的可扩展、可解释分析，并可直接集成至标准机器学习流水线（如回归和聚类）中。