[論文レビュー] LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems

Michael Bidollahkhani, Ferhat Atasoy+1 more|arXiv (Cornell University)|Apr 18, 2023

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

LTC-SE は TensorFlow 2.x 互換の拡張 LTC ニューラルネットワークライブラリを提供し、組み込みシステム向けのより柔軟な設定と優れたコード組織を実現し、従来の LTC 実装より使いやすさが向上することを示す。

ABSTRACT

We present LTC-SE, an improved version of the Liquid Time-Constant (LTC) neural network algorithm originally proposed by Hasani et al. in 2021. This algorithm unifies the Leaky-Integrate-and-Fire (LIF) spiking neural network model with Continuous-Time Recurrent Neural Networks (CTRNNs), Neural Ordinary Differential Equations (NODEs), and bespoke Gated Recurrent Units (GRUs). The enhancements in LTC-SE focus on augmenting flexibility, compatibility, and code organization, targeting the unique constraints of embedded systems with limited computational resources and strict performance requirements. The updated code serves as a consolidated class library compatible with TensorFlow 2.x, offering comprehensive configuration options for LTCCell, CTRNN, NODE, and CTGRU classes. We evaluate LTC-SE against its predecessors, showcasing the advantages of our optimizations in user experience, Keras function compatibility, and code clarity. These refinements expand the applicability of liquid neural networks in diverse machine learning tasks, such as robotics, causality analysis, and time-series prediction, and build on the foundational work of Hasani et al.

研究の動機と目的

• リソース制約のある組み込みシステム向けの LTC ベースモデルの柔軟性と互換性を高める。
• LTC 関連のアーキテクチャ（LTCCell、CTRNN、NODE、CTGRU）を1つの使えるライブラリに統合する。
• コード組織とユーザー体験を改善し、ロボティクス、因果分析、時系列タスクへの適用を促進する。

提案手法

• LTC-SE を拡張された TensorFlow 2.x 互換クラスライブラリとして開発する。
• 設定可能な LTCCell、CTRNN、NODE、CTGRU 実装を提供する。
• コードの明確さ、Keras 互換性、全体的な使いやすさを向上させる。
• 従来の LTC 実装と比較してユーザー体験と可読性に焦点を当てて LTC-SE を評価する。

実験結果

リサーチクエスチョン

• RQ1 LTC-SE は従来の LTC 実装と比較してユーザー体験と Keras 互換性を改善するか？
• RQ2 LTC-SE はリキッド神経ネットワークの実用的適用範囲をロボティクス、因果分析、時系列予測などのタスクに拡大するか？
• RQ3 LTC-SE はリソースが限られた組み込みシステムのコード組織と設定可能性にどのように影響するか？

主な発見

• LTC-SE は先行機種に対してユーザー体験を改善する。
• LTC-SE はより良い Keras 機能互換性とより明確なコード構造を提供する。
• これらの改良はロボティクス、因果分析、時系列タスクへのリキッド神経ネットワークの適用範囲を広げる。