[论文解读] Charting and navigating the space of solutions for recurrent neural networks

Elia Turner, Kabir Dabholkar+1 more|arXiv (Cornell University)|Nov 17, 2021

Neural dynamics and brain function被引用 10

一句话总结

本文提出一个框架，通过分析神经科学启发任务中的动力学模式、简化动力学图和外推行为，映射并导航循环神经网络（RNNs）的解空间。研究发现，即使在相同任务上训练，RNNs 也会产生定性上截然不同的解——其中部分解可从神经活动部分预测，这挑战了机器学习和计算神经科学中关于解普遍性的假设。

ABSTRACT

Recurrent Neural Networks (RNNs) were recently successfully used to model the way neural activity drives task-related behavior in animals, operating under the implicit assumption that the obtained solutions are universal. Observations in both neuroscience and machine learning challenge this assumption. Animals can approach a given task with a variety of strategies, and training machine learning algorithms introduces the phenomenon of underspecification. These observations imply that every task is associated with a space of solutions. To date, the structure of this space is not understood, limiting the approach of comparing RNNs with neural data. Here, we characterize the space of solutions associated with various tasks. We first study a simple two-neuron network on a task that leads to multiple solutions. We trace the nature of the final solution back to the network's initial connectivity and identify discrete dynamical regimes that underlie this diversity. We then examine three neuroscience-inspired tasks: Delayed and interval discrimination, and Time reproduction. For each task, we find a rich set of solutions. Variability can be found directly in the neural activity of the networks, and additionally by testing the trained networks' ability to extrapolate, as a perturbation to a system often reveals hidden structure. Furthermore, we relate extrapolation patterns to specific dynamical objects and effective algorithms found by the networks. We introduce a tool to derive the reduced dynamics of networks by generating a compact directed graph describing the essence of the dynamics with regards to behavioral inputs and outputs. Using this representation, we can partition the solutions to each task into a handful of types and partially predict them from neural features. Our results shed light on the concept of the space of solutions and its uses in Machine learning and in Neuroscience.

研究动机与目标

• 探究在相同任务上训练的RNN中解空间的存在性与结构，挑战解普遍性的假设。
• 识别并表征在延迟辨别、时间间隔辨别和时间重现等任务上训练的RNN中存在多种定性上不同的动力学解。
• 开发一种将RNN动力学简化为紧凑、可解释的有向图的方法，以捕捉其核心计算行为。
• 探索神经活动与外推行为如何揭示训练性能之外的隐藏可变性层次。
• 评估实验可测的神经特征在在多大程度上可预测网络将采用的解类型。

提出的方法

• 在三个神经科学启发任务（延迟辨别、时间间隔辨别和时间重现）上，使用相同的超参数训练多个RNN。
• 通过将网络行为抽象为紧凑的有向图，生成简化动力学图，以编码输入响应下的状态转移。
• 采用基于扰动的外推测试，揭示隐藏的动力学结构，并根据对分布外输入的响应模式对解进行分类。
• 应用线性化和特征值分析，量化线性吸引子网络中的动力学特征，如参与度比率、解码器均方误差和特征向量范数。
• 将神经测量值（如参与度比率、输入权重相关性）与解类型相关联，以评估从神经活动中预测解类型的可行性。
• 使用混淆矩阵和分类指标评估神经特征在预测解类型方面的预测能力。

实验结果

研究问题

• RQ1 在相同任务上训练的RNN的解空间结构如何？其产生的动力学模式有多样性？
• RQ2 外推行为如何揭示训练期间未显现的隐藏计算结构？
• RQ3 简化动力学图能否有效将RNN解划分为若干明确且可解释的类型？
• RQ4 在训练过程中，神经活动模式在多大程度上可预测RNN的最终解类型？
• RQ5 解的多样性如何与动力学对象（如吸引子）及网络实际实现的有效算法相关联？

主要发现

• 在时间重现任务中，从400个训练好的LSTM网络中识别出五类主要解类型，占总数的87%，其具有不同的外推模式和简化动力学图。
• 训练期间获得的神经特征（如参与度比率和输入权重相关性）对解类型的预测具有部分能力，表现为预测任务中混淆矩阵非随机。
• 外推行为揭示了超越训练集性能的另一层可变性，不同响应模式对应于不同的底层动力学对象。
• 简化动力学图表示成功地将解划分为少量类型，实现了对RNN定性不同行为的系统性分类。
• 即使在上下文依赖积分等任务中，网络收敛到线性吸引子，独立初始化的网络之间仍存在显著的定量可变性，且神经测量值之间的相关性微弱。
• 尽管经过大量训练，面对具有挑战性的输入时，行为可变性依然很高，表明低训练误差并不意味着解的多样性或鲁棒性低。