[论文解读] Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity

Marino Pagan, Adrian Valente+2 more|arXiv (Cornell University)|Sep 7, 2023

Neural Networks and Applications被引用 4

一句话总结

本文比较了循环神经网络（RNNs）在激活空间（非线性前）与活动空间（非线性后）的线性化，表明尽管两种线性化通过一个对角增益矩阵相关联，但它们在捕捉上下文依赖的输入调制方面存在差异。关键发现是，上下文依赖的输入调制——对建模认知上下文效应至关重要——仅在活动空间线性化中可观测到，而非激活空间线性化中不可见。

ABSTRACT

Linearization of the dynamics of recurrent neural networks (RNNs) is often used to study their properties. The same RNN dynamics can be written in terms of the ``activations" (the net inputs to each unit, before its pointwise nonlinearity) or in terms of the ``activities" (the output of each unit, after its pointwise nonlinearity); the two corresponding linearizations are different from each other. This brief and informal technical note describes the relationship between the two linearizations, between the left and right eigenvectors of their dynamics matrices, and shows that some context-dependent effects are readily apparent under linearization of activity dynamics but not linearization of activation dynamics.

研究动机与目标

• 阐明在单位激活（非线性前）与活动（非线性后）中对RNN动力学进行线性化的区别。
• 建立两种线性化之间的数学关系，特别是通过非线性导数导出的对角增益矩阵。
• 研究上下文依赖的输入调制——源于单元增益变化——在两种线性化框架中如何不同地表示。
• 证明某些动力学效应，如上下文依赖的输入调制，仅在活动空间线性化中可检测到，而非激活空间线性化中不可见。
• 指导研究人员根据感兴趣的动态特性（尤其是上下文依赖的网络建模）选择合适的线性化框架。

提出的方法

• 使用两种等价的公式形式形式化RNN动力学：一种基于非线性前的激活x，另一种基于非线性后的活动r。
• 针对两种公式分别在固定点附近推导线性化动力学，得到动力学矩阵分别为Wg′(x₀)（激活空间）和g′(x₀)W（活动空间）。
• 引入对角增益矩阵D = diag(g′(x₀))以关联两种线性化，表明激活空间的动力学矩阵为WD，活动空间矩阵为DW。
• 分析两种线性化动力学之间的特征系统关系，证明DW的右特征向量与WD的右特征向量通过D⁻¹相关联。
• 通过引入恒定的上下文向量c_R，将该框架应用于上下文依赖的RNN，该向量改变固定点，从而改变增益矩阵D_R。
• 证明在活动空间线性化中，有效输入被D_R缩放（即D_R u），使得上下文依赖的输入调制可见；而在激活空间中，输入保持为u，与上下文无关。

实验结果

研究问题

• RQ1 当在线性化非线性点之前与之后对RNN的线性化动力学进行比较时，其差异是什么？
• RQ2 激活空间与活动空间线性化所得动力学矩阵之间的数学关系是什么？
• RQ3 两种线性化动力学矩阵的左、右特征向量之间有何关系？
• RQ4 上下文依赖的外部输入调制是否可在两种线性化框架中均被观测到？
• RQ5 为何活动空间线性化更适合研究RNN中上下文依赖的输入调制？

主要发现

• 激活空间线性化（WD）与活动空间线性化（DW）的动力学通过对角缩放矩阵D = diag(g′(x₀))相关联，意味着两种系统在单位特定增益变换下等价。
• 活动空间矩阵DW的右特征向量与激活空间矩阵WD的右特征向量通过ρ_x = D⁻¹ρ_r相关联，左特征向量满足s_x = D⁻¹s_r，保持了左右特征向量之间的点积关系。
• 上下文依赖的输入调制——即同一输入向量u在不同上下文中被D_R有效缩放——仅在活动空间线性化中可见，此时输入变为D_R u。
• 相比之下，激活空间线性化中输入保持为u，与上下文无关，因此无法捕捉输入的上下文依赖调制。
• 这一差异意味着，对于研究RNN中上下文依赖的输入效应（如认知建模和工作记忆任务中所见）而言，活动空间线性化是必要的。
• 本文结论认为，尽管两种线性化描述相同的底层轨迹，但在分析上下文依赖动力学（尤其是输入调制）时，二者不可互换。