[論文レビュー] Liquid Time-constant Recurrent Neural Networks as Universal Approximators

Ramin Hasani, Mathias Lechner+3 more|arXiv (Cornell University)|Nov 1, 2018

Neural Networks and Applications参考文献 9被引用数 15

ひとこと要約

この論文は、シグモイド性のシナプスダイナミクスから導かれるニューロン固有の非線形変動時間定数を有する連続時間RNNの変種、Liquid Time-Constant RNN（LTC-RNN）を導入する。著者らは、有界なニューロン状態と時間定数を有するn次元連続力学系の有限軌道について、LTC-RNNが普遍近似可能であることを証明しており、最小限のユニットで効率的な近似が可能である。

ABSTRACT

In this paper, we introduce the notion of liquid time-constant (LTC) recurrent neural networks (RNN)s, a subclass of continuous-time RNNs, with varying neuronal time-constant realized by their nonlinear synaptic transmission model. This feature is inspired by the communication principles in the nervous system of small species. It enables the model to approximate continuous mapping with a small number of computational units. We show that any finite trajectory of an $n$-dimensional continuous dynamical system can be approximated by the internal state of the hidden units and $n$ output units of an LTC network. Here, we also theoretically find bounds on their neuronal states and varying time-constant.

研究の動機と目的

• 小型種の生物学的神経ダイナミクスにインspiredされた、連続時間RNNの新しいクラスを形式化すること。
• 連続力学系の有限軌道をモデル化する際のLTC-RNNの普遍近似能力の理論的基盤を確立すること。
• 安定性と有限範囲のダイナミクスを保証するため、ニューロン状態と時間定数の解析的境界を導出すること。
• 有限個の隠れユニットを用いて、n次元ODE系の任意の有限軌道を任意の精度で近似可能であることを示すこと。

提案手法

• 膜容量Cmiと漏れ電導GLeakiを用いて、時間定数τi = Cmi / GLeakiで定義されるODEによるニューロンダイナミクスをモデル化する。
• シグモイド関数σi(Vj) = 1 / (1 + exp(−γij(Vj + μij)))を用いて非線形シナプス伝達を実装し、有効時間定数の可変性を実現する。
• プレシナプス活性に応じて変化する有効システム時間定数τsys = 1 / (1/τi + wij / Cmi × σi(Vj))を定義する。
• 行列形式のODEとしてネットワーク全体のダイナミクスを定式化する：ẋ(t) = −(1/τ + Wσ(x(t)))x(t) + A + Wσ(x(t))B、ここでAとBは有界である。
• 滑らかで微分可能なダイナミクスを保証するため、要素ごとに適用されるC1-シグモイド非線形性σ(x)を用いる。
• 標準的なODE理論と近似定理を用いて、コン pact 集上で有限軌道の普遍近似を証明する。

実験結果

リサーチクエスチョン

• RQ1 LTC-RNNは、n次元連続力学系の任意の有限軌道を任意の精度で近似可能か？
• RQ2 LTC-RNNニューロンの時間定数はどのように動的に変化するのか？また、有界であるか？
• RQ3 LTC-RNNニューロンの内部状態は有限時間区間で有界か？
• RQ4 LTC-RNNにおけるシナプス非線形性と有効時間定数の関係は何か？
• RQ5 動的時間定数適応のおかげで、標準的なCTRNNよりも少ないユニット数でLTC-RNNが普遍近似を達成可能か？

主な発見

• LTC-RNNは普遍近似可能である：任意のε > 0と、コン pact 集上で定義されたn次元非自励ODE系の任意の有限軌道について、N個の隠れユニットとn個の出力を持つLTC-RNNが存在し、任意のt ∈ [0, T]に対して||x(t) − u(t)|| < εを満たす。
• LTCニューロンの有効時間定数τsysは有界である：C_i / (g_i + ∑wij + ∑ŵij) ≤ τ_i ≤ C_i / (g_i + ∑ŵij)、ここでwijとŵijは化学的および電気的シナプス重みである。
• ニューロン状態vi(t)は有限軌道上で有界である：すべてのt ∈ [0, T]に対してmin(Vleak_i, E_ij^min) ≤ vi(t) ≤ max(Vleak_i, E_ij^max)が成り立つ。
• 時間定数の境界はシナプス重みと電導に依存し、化学的シナプスが非活性（σ ≈ 0）のときτ_i^maxが達成され、すべてのシナプスが活性のときτ_i^minが達成される。
• VleakとE_ijの極値をODEに代入することで状態境界を導出し、上界では微分係数dv_i/dt ≤ 0、下界ではdv_i/dt ≥ 0が成り立つことから、収束が保証される。
• 理論的枠組みは、最小限のユニットで安定で効率的かつ表現力のある複雑な力学系のモデリングにLTC-RNNを用いることを支援する。