[论文解读] Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers

Albert Gu, Isys Johnson+5 more|arXiv (Cornell University)|Oct 26, 2021

Neural Networks and Applications被引用 143

一句话总结

论文介绍线性状态空间层（LSSLs），将递归、卷积和连续时间模型统一，提供长期记忆和有状态并行计算，在极长时间序列任务上达到最先进结果。

ABSTRACT

Recurrent neural networks (RNNs), temporal convolutions, and neural differential equations (NDEs) are popular families of deep learning models for time-series data, each with unique strengths and tradeoffs in modeling power and computational efficiency. We introduce a simple sequence model inspired by control systems that generalizes these approaches while addressing their shortcomings. The Linear State-Space Layer (LSSL) maps a sequence $u \\mapsto y$ by simply simulating a linear continuous-time state-space representation $\\dot{x} = Ax + Bu, y = Cx + Du$. Theoretically, we show that LSSL models are closely related to the three aforementioned families of models and inherit their strengths. For example, they generalize convolutions to continuous-time, explain common RNN heuristics, and share features of NDEs such as time-scale adaptation. We then incorporate and generalize recent theory on continuous-time memorization to introduce a trainable subset of structured matrices $A$ that endow LSSLs with long-range memory. Empirically, stacking LSSL layers into a simple deep neural network obtains state-of-the-art results across time series benchmarks for long dependencies in sequential image classification, real-world healthcare regression tasks, and speech. On a difficult speech classification task with length-16000 sequences, LSSL outperforms prior approaches by 24 accuracy points, and even outperforms baselines that use hand-crafted features on 100x shorter sequences.

研究动机与目标

• 激发一个统一的序列模型，结合RNN、CNN和神经微分方程在长序列上的优势。
• 将线性状态空间层（LSSLs）定义并分析为离散化的线性状态空间系统，能够表现得像递归层和卷积层。
• 通过基于HiPPO的结构化A矩阵实现连续时间记忆，以实现长程记忆。
• 为LSSLs开发高效的训练和推理方法，包括用于可控的Krylov/FFT计算的结构化矩阵。
• 证明在视觉、医疗保健和语音任务等极长序列基准测试中，LSSLs实现了最先进的性能。

提出的方法

• 将LSSL定义为通过离散化的线性状态空间模型的序列映射 u(t) -> y(t)，使 dot{x}=Ax+Bu 且 y=Cx+Du。
• 展示LSSL的三种视角：递归型（按时间更新状态）、卷积型（类似Krylov核表示）和连续时间（微分方程）形式。
• 使用双线性（alpha=1/2）离散化获得稳定的离散时间更新 x_t = Ā x_{t-1} + B̄ u_t, y_t = C x_t + D u_t。
• 利用基于HiPPO的记忆算子，结合结构化A（LRW/准可分）以实现有根据的连续时间记忆和长距离依赖。
• 提出用于带结构A矩阵的Krylov函数计算的高效算法，使训练接近线性时间并可并行化。
• 将LSSL层叠加，配合归一化和残差连接，形成深层架构。
• 提供消融实验，展示学习时间尺度Δt和结构化A的重要性，并证明对测试时尺度变化的鲁棒性。

实验结果

研究问题

• RQ1 单一线性状态空间公式是否能够模拟并统一RNN、CNN和连续时间模型在时间序列数据上的能力？
• RQ2 如何设计A和Δt以在保持训练和推断高效的同时实现长程记忆？
• RQ3 受HiPPO启发的结构化A矩阵是否能够在LSSLs中实现连续时间记忆并改进长依赖建模？
• RQ4 堆叠的LSSLs是否在极长序列的多领域（视觉、医疗保健、语音）上实现了最先进的性能？

主要发现

• LSSLs 将卷积推广到连续时间域，并提供类似递归的有状态推理。
• 使用HiPPO结构化的A，LSSLs可以记住长程依赖并允许学习记忆度量和时间尺度。
• LSSLs在顺序图像分类基准（如顺序CIFAR）和具有长序列的医疗保健回归任务上达到最先进的结果，RMSE显著降低。
• 在极长的语音序列（长度16000）上，LSSLs比前代方法提高超过20个准确度点，甚至超越使用手工特征的基线（在更短的输入下）。
• 固定或学习的Δt使时间尺度自适应成为可能，包括对测试时变换的鲁棒性，学习Δt提供互补收益。
• 将LSSLs训练并堆叠为深层网络时，在参数数量少于以往SOTA模型的情况下实现很强的性能。