[논문 리뷰] Liquid Time-constant Recurrent Neural Networks as Universal Approximators

Ramin Hasani, Mathias Lechner외 3명|arXiv (Cornell University)|2018. 11. 01.

Neural Networks and Applications참고 문헌 9인용 수 15

한 줄 요약

이 논문은 시그모이드형 시냅스 역학에서 유도된 뉴런별 비선형적으로 변화하는 시간상수를 가진 연속시간 RNN의 변종인 액체 시간상수 순환 신경망(LTC-RNNs)을 소개한다. 저자는 LTC-RNNs가 유한한 궤적을 가지는 n차원 연속 동역학 시스템에 대해 유니버설 근사기능을 갖는다는 것을 증명하며, 뉴런 상태와 시간상수가 유계인 조건에서 최소한의 단위로 효율적인 근사가 가능하다.

ABSTRACT

In this paper, we introduce the notion of liquid time-constant (LTC) recurrent neural networks (RNN)s, a subclass of continuous-time RNNs, with varying neuronal time-constant realized by their nonlinear synaptic transmission model. This feature is inspired by the communication principles in the nervous system of small species. It enables the model to approximate continuous mapping with a small number of computational units. We show that any finite trajectory of an $n$-dimensional continuous dynamical system can be approximated by the internal state of the hidden units and $n$ output units of an LTC network. Here, we also theoretically find bounds on their neuronal states and varying time-constant.

연구 동기 및 목표

• 작은 종의 생물학적 신경 동역학을 영감으로 삼아, 새로운 연속시간 RNN 클래스인 액체 시간상수(LTC) RNNs를 체계화하기 위해.
• 연속 동역학 시스템의 유한 궤적을 모델링하는 데 있어 LTC-RNNs의 유니버설 근사 능력에 대한 이론적 기초를 확립하기 위해.
• 안정성과 유한 범위의 동역학을 보장하기 위해 뉴런 상태와 시간상수에 대한 분석적 경계를 도출하기 위해.
• LTC-RNNs가 유한 개의 은닉 유닛을 사용하여 n차원 ODE 시스템의 임의의 유한 궤적을 임의의 정밀도로 근사할 수 있음을 보여주기 위해.

제안 방법

• 뉴런 동역학을 시간상수 τi = Cmi / GLeaki를 갖는 ODE로 모델링하며, 여기서 Cmi와 GLeaki는 세포막의 용량과 누출 도전도이다.
• 비선형 시냅스 전달을 시그모이드 함수 σi(Vj) = 1 / (1 + exp(−γij(Vj + μij)))를 통해 구현함으로써 효과적인 시간상수가 변할 수 있도록 한다.
• 효과적인 시스템 시간상수 τsys = 1 / (1/τi + wij / Cmi × σi(Vj))를 정의하며, 이는 전순환 활동에 따라 변화한다.
• 전체 네트워크 동역학을 행렬형 ODE로 기술한다: ẋ(t) = −(1/τ + Wσ(x(t)))x(t) + A + Wσ(x(t))B이며, A와 B는 유계이다.
• 부드럽고 미분 가능한 동역학을 보장하기 위해 원소별로 적용된 C1-시그모이드 비선형성 σ(x)를 사용한다.
• 표준 ODE 이론과 근사 정리의 응용을 통해 컴act 집합 위의 유한 궤적에 대한 유니버설 근사성을 증명한다.

실험 결과

연구 질문

• RQ1 LTC-RNNs는 n차원 연속 동역학 시스템의 임의의 유한 궤적을 임의의 정밀도로 근사할 수 있는가?
• RQ2 LTC-RNN 뉴런의 시간상수는 어떻게 동적으로 변화하며, 그 값은 유계인가?
• RQ3 LTC-RNN 뉴런의 내부 상태는 유한 시간 간격 동안 유계인가?
• RQ4 LTC-RNNs에서 시냅스의 비선형성과 효과적인 시간상수 사이의 관계는 무엇인가?
• RQ5 동적 시간상수 적응 덕분에 표준 CTRNN보다 더 적은 수의 유닛으로 LTC-RNNs가 유니버설 근사성을 달성할 수 있는가?

주요 결과

• LTC-RNNs는 유니버설 근사기능을 갖는다: 임의의 ε > 0과 컴 pact 집합 위의 n차원 자율 ODE의 유한 궤적에 대해, N개의 은닉 유닛과 n개의 출력을 갖는 LTC-RNN이 존재하여 모든 t ∈ [0, T]에 대해 ||x(t) − u(t)|| < ε를 만족한다.
• LTC 뉴런의 효과적인 시간상수 τsys는 유계이다: C_i / (g_i + ∑wij + ∑ŵij) ≤ τ_i ≤ C_i / (g_i + ∑ŵij), 여기서 wij와 ŵij는 화학적 및 전기적 시냅스 가중치이다.
• 유한 궤적 동안 뉴런 상태 vi(t)는 유계이다: 모든 t ∈ [0, T]에 대해 min(Vleak_i, E_ij^min) ≤ vi(t) ≤ max(Vleak_i, E_ij^max).
• 시간상수의 경계는 시냅스 가중치와 도전도에 따라 달라지며, 화학적 시냅스가 비활성화될 때(σ ≈ 0) τ_i^max가 도달하고, 모든 시냅스가 활성화될 때 τ_i^min가 도달한다.
• 상태 경계는 Vleak과 E_ij의 극단적 값을 ODE에 대입하여 유도되며, 이는 상한에서 미분계수 dv_i/dt ≤ 0, 하한에서 ≥ 0임을 보여주어 수렴을 보장한다.
• 이론적 프레임워크는 최소한의 단위로 복잡한 동역학 시스템을 안정적이고 효율적이며 표현력 있게 모델링하는 데 있어 LTC-RNNs의 활용을 뒷받침한다.