[论文解读] Liquid Time-constant Recurrent Neural Networks as Universal Approximators

Ramin Hasani, Mathias Lechner+3 more|arXiv (Cornell University)|Nov 1, 2018

Neural Networks and Applications参考文献 9被引用 15

一句话总结

该论文提出了一种连续时间循环神经网络变体——液态时间常数循环神经网络（LTC-RNNs），其神经元具有基于S型突触动力学的、可变的、非线性的时间常数。作者证明，当神经元状态和时间常数有界时，LTC-RNNs可作为n维连续动力系统的有限轨迹的通用逼近器，从而以最少的单元实现高效逼近。

ABSTRACT

In this paper, we introduce the notion of liquid time-constant (LTC) recurrent neural networks (RNN)s, a subclass of continuous-time RNNs, with varying neuronal time-constant realized by their nonlinear synaptic transmission model. This feature is inspired by the communication principles in the nervous system of small species. It enables the model to approximate continuous mapping with a small number of computational units. We show that any finite trajectory of an $n$-dimensional continuous dynamical system can be approximated by the internal state of the hidden units and $n$ output units of an LTC network. Here, we also theoretically find bounds on their neuronal states and varying time-constant.

研究动机与目标

• 形式化一种新型的连续时间RNN，即液态时间常数（LTC）RNNs，其灵感来源于小型物种中的生物神经动力学。
• 为LTC-RNNs在建模连续动力系统有限轨迹方面的通用逼近能力建立理论基础。
• 推导出神经元状态和时间常数的解析边界，以确保稳定性和有限范围的动力学。
• 证明LTC-RNNs可使用有限数量的隐藏单元，以任意精度逼近n维常微分方程（ODE）系统的任意有限轨迹。

提出的方法

• 使用带有时间常数 τi = Cmi / GLeaki 的常微分方程（ODE）建模神经元动力学，其中Cmi和GLeaki分别为膜电容和漏电导。
• 通过S型函数 σi(Vj) = 1 / (1 + exp(−γij(Vj + μij))) 实现非线性突触传递，从而实现有效时间常数的可变性。
• 定义有效系统时间常数 τsys = 1 / (1/τi + wij / Cmi × σi(Vj))，其随突触前活动而变化。
• 将全网络动力学表述为矩阵形式的常微分方程：ẋ(t) = −(1/τ + Wσ(x(t)))x(t) + A + Wσ(x(t))B，其中A和B有界。
• 对元素应用C1-S型非线性函数σ(x)，以确保动力学的平滑性和可微性。
• 应用标准常微分方程理论和逼近定理，证明在紧集上对有限轨迹的通用逼近能力。

实验结果

研究问题

• RQ1 LTC-RNNs能否以任意精度逼近n维连续动力系统任意有限轨迹？
• RQ2 LTC-RNN神经元的时间常数如何动态变化？其是否受有界限制？
• RQ3 LTC-RNN神经元的内部状态在有限时间区间内是否受有界限制？
• RQ4 LTC-RNNs中突触非线性与有效时间常数之间存在何种关系？
• RQ5 由于时间常数的动态自适应，LTC-RNNs是否能以少于标准连续时间RNN（CTRNNs）的单元数量实现通用逼近？

主要发现

• LTC-RNNs是通用逼近器：对于任意ε > 0，以及任意n维自治常微分方程在紧集上的有限轨迹，存在一个具有N个隐藏单元和n个输出的LTC-RNN，使得对所有t ∈ [0, T]，都有 ||x(t) − u(t)|| < ε。
• LTC神经元的有效时间常数τsys有界：C_i / (g_i + ∑wij + ∑ŵij) ≤ τ_i ≤ C_i / (g_i + ∑ŵij)，其中wij和ŵij分别为化学和电突触权重。
• 神经元状态vi(t)在有限轨迹上受有界限制：对所有t ∈ [0, T]，有 min(Vleak_i, E_ij^min) ≤ vi(t) ≤ max(Vleak_i, E_ij^max)。
• 时间常数的边界取决于突触权重和电导，当化学突触处于非激活状态（σ ≈ 0）时达到最大τ_i^max，当所有突触均激活时达到最小τ_i^min。
• 通过将Vleak和E_ij的极值代入常微分方程，推导出状态边界，表明在上界处dv_i/dt ≤ 0，在下界处dv_i/dt ≥ 0，从而确保收敛。
• 该理论框架支持LTC-RNNs在稳定、高效且表达力强的复杂动力系统建模中，以最少单元实现应用。