[논문 리뷰] LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems

Michael Bidollahkhani, Ferhat Atasoy외 1명|arXiv (Cornell University)|2023. 04. 18.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

LTC-SE는 임베디드 시스템에 대해 더 유연한 구성과 더 나은 코드 구성을 갖춘 TensorFlow 2.x 호환 강화 LTC 신경망 라이브러리를 제공하며, 이전 LTC 구현 대비 사용성 향상을 보여준다.

ABSTRACT

We present LTC-SE, an improved version of the Liquid Time-Constant (LTC) neural network algorithm originally proposed by Hasani et al. in 2021. This algorithm unifies the Leaky-Integrate-and-Fire (LIF) spiking neural network model with Continuous-Time Recurrent Neural Networks (CTRNNs), Neural Ordinary Differential Equations (NODEs), and bespoke Gated Recurrent Units (GRUs). The enhancements in LTC-SE focus on augmenting flexibility, compatibility, and code organization, targeting the unique constraints of embedded systems with limited computational resources and strict performance requirements. The updated code serves as a consolidated class library compatible with TensorFlow 2.x, offering comprehensive configuration options for LTCCell, CTRNN, NODE, and CTGRU classes. We evaluate LTC-SE against its predecessors, showcasing the advantages of our optimizations in user experience, Keras function compatibility, and code clarity. These refinements expand the applicability of liquid neural networks in diverse machine learning tasks, such as robotics, causality analysis, and time-series prediction, and build on the foundational work of Hasani et al.

연구 동기 및 목표

• 자원 제약이 큰 임베디드 시스템용 LTC 기반 모델의 유연성과 호환성 향상.
• LTC 관련 아키텍처(LTCCell, CTRNN, NODE, CTGRU)를 하나의 사용 가능한 라이브러리로 통합.
• 로봇 공학, 인과 관계 분석, 시계열 작업의 채택을 촉진하기 위한 코드 구성 및 사용자 경험 개선.

제안 방법

• 확장된 TensorFlow 2.x 호환 클래스 라이브러리로 LTC-SE 개발.
• 구성 가능한 LTCCell, CTRNN, NODE 및 CTGRU 구현 제공.
• 코드 명확성, Keras 호환성 및 전반적 사용성 향상.
• 사용자 경험과 가독성에 중점을 두고 이전 LTC 구현과 비교하여 LTC-SE를 평가.

실험 결과

연구 질문

• RQ1 LTC-SE가 이전 LTC 구현에 비해 사용자 경험 및 Keras 호환성을 향상시키는가?
• RQ2 LTC-SE가 로봇 공학, 인과 관계 분석, 시계열 예측과 같은 작업에 액체 신경망의 실용적 적용 범위를 확장하는가?
• RQ3 제한된 자원을 가진 임베디드 시스템에서 코드 구성 및 구성 가능성에 LTC-SE가 어떤 영향을 미치는가?

주요 결과

• LTC-SE는 선행 모델에 비해 사용자 경험을 향상시킨다.
• LTC-SE는 더 나은 Keras 기능 호환성과 더 명확한 코드 구조를 제공한다.
• 정교화는 로봇 공학, 인과 관계 분석, 시계열 작업에 액체 신경망의 적용 범위를 넓힌다.