[论文解读] RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks

Leo Kozachkov, Michaela Ennis+1 more|arXiv (Cornell University)|Jun 16, 2021

Neural dynamics and brain function被引用 5

一句话总结

该论文提出了一种基于收缩理论的系统化框架，用于构建稳定、模块化的循环神经网络（RNN）组合——即'RNN的RNN'——即使在模块间存在大规模反馈的情况下，也能确保全局稳定性。通过参数化子网络权重以强制实现收缩动力学，并利用非线性控制理论推导稳定性条件，作者实现了对稳定'网络的网络'的梯度优化，使其在seqCIFAR10和置换MNIST等序列任务上表现出色。

ABSTRACT

Recurrent neural networks (RNNs) are widely used throughout neuroscience as models of local neural activity. Many properties of single RNNs are well characterized theoretically, but experimental neuroscience has moved in the direction of studying multiple interacting areas, and RNN theory needs to be likewise extended. We take a constructive approach towards this problem, leveraging tools from nonlinear control theory and machine learning to characterize when combinations of stable RNNs will themselves be stable. Importantly, we derive conditions which allow for massive feedback connections between interacting RNNs. We parameterize these conditions for easy optimization using gradient-based techniques, and show that stability-constrained "networks of networks" can perform well on challenging sequential-processing benchmark tasks. Altogether, our results provide a principled approach towards understanding distributed, modular function in the brain.

研究动机与目标

• 解决现有理论工具在分析互联RNN稳定性方面的不足，特别是针对模块间存在广泛反馈的情况。
• 将RNN理论从单个网络模型扩展至支持多区域、分布式神经计算的框架，与现代神经科学研究实验结果相契合。
• 开发一种可构造、优化友好的方法，将稳定RNN模块组合为更大规模的全局稳定系统。
• 实现在保持稳定性的前提下对神经组合结构进行快速重构，适用于动态脑功能及进化过程中的可塑性。
• 通过收缩分析和基于度量的条件，为复杂RNN架构提供形式化、可验证的稳定性证明。

提出的方法

• 使用收缩分析定义一种强形式的动力学稳定性，确保初始条件被指数级遗忘。
• 通过改进的SVD权重结构对单个RNN子网络进行参数化：$\mathbf{W}_i = \mathbf{\Phi}_i^{-1}\mathbf{U}_i\mathbf{\Sigma}_i\mathbf{V}_i^T\mathbf{\Phi}_i$，其中$\Sigma_{ii} \in [0, g^{-1})$，$\Phi_i$为对角且非奇异，$U_i, V_i$为正交矩阵。
• 在训练过程中通过反对称矩阵的矩阵指数函数强制实现$\mathbf{U}_i$和$\mathbf{V}_i$的正交性。
• 利用块对角度量$\tilde{\mathbf{M}} = \text{BlockDiag}(\mathbf{\Phi}_1^2, \dots, \mathbf{\Phi}_p^2)$推导整个网络的全局稳定性证书，确保整个系统保持收缩特性。
• 通过可微分参数化，在训练过程中保持稳定性约束的同时应用梯度优化方法。
• 在序列基准任务（如seqCIFAR10、置换MNIST）上验证该方法，结合受控的超参数调优与可重复性测试。

实验结果

研究问题

• RQ1 在何种条件下，多个稳定RNN模块可被互联为一个更大规模、全局稳定的系统，即使存在广泛反馈？
• RQ2 收缩理论能否用于构建模块化RNN架构的可验证、可微分稳定性证书？
• RQ3 在子网络中强制实现收缩动力学，对更大规模'网络的网络'在序列任务上的性能与泛化能力有何影响？
• RQ4 当模块间连接未受约束时，稳定性在多大程度上仍可保持？与完全约束设计相比表现如何？
• RQ5 该框架是否能够支持神经组合结构的快速重构，以模拟生物神经模块化及进化过程中的可塑性？

主要发现

• 在seqCIFAR10任务上，SVD Combo Net在10次试验中平均测试准确率达到64.72%，方差为0.406，表现出高度可重复性。
• 在200个周期后，Sparse Combo Net在seqCIFAR10上达到65.72%的测试准确率，学习率在第90和140个周期处衰减，优于基线配置。
• 在SVD Combo Net的对照实验中，移除模块间稳定性约束后，测试准确率仅从94.9%略微下降至94.56%（在置换MNIST上），表明对模块间不稳定性具有鲁棒性。
• 该框架成功实现了对具有大规模反馈连接的稳定、大规模RNN的训练，而这类连接在标准RNN中通常具有破坏稳定性的风险。
• 该方法支持模块化、分层化的RNN构建，保证稳定性，支持高效优化与动态重构。
• 通过收缩分析推导出的理论稳定性条件，经由多次试验与不同超参数设置下的稳定性能表现，得到了实证验证。