[论文解读] Liquid Structural State-Space Models

Ramin Hasani, Mathias Lechner+4 more|arXiv (Cornell University)|Sep 26, 2022

Neural Networks and Applications被引用 13

一句话总结

该论文提出Liquid-S4，一种新型状态空间模型，将液态时变常数（LTC）网络的输入自适应动态特性与S4的高效结构化参数化相结合。通过采用对角加低秩分解，将S4中的固定状态转移矩阵替换为依赖输入的矩阵，Liquid-S4能够学习输入特定的时序动态，在长序列任务中实现最先进性能，参数量减少30%，并在Long-Range Arena基准上达到87.32%的平均准确率。

ABSTRACT

A proper parametrization of state transition matrices of linear state-space models (SSMs) followed by standard nonlinearities enables them to efficiently learn representations from sequential data, establishing the state-of-the-art on a large series of long-range sequence modeling benchmarks. In this paper, we show that we can improve further when the structural SSM such as S4 is given by a linear liquid time-constant (LTC) state-space model. LTC neural networks are causal continuous-time neural networks with an input-dependent state transition module, which makes them learn to adapt to incoming inputs at inference. We show that by using a diagonal plus low-rank decomposition of the state transition matrix introduced in S4, and a few simplifications, the LTC-based structural state-space model, dubbed Liquid-S4, achieves the new state-of-the-art generalization across sequence modeling tasks with long-term dependencies such as image, text, audio, and medical time-series, with an average performance of 87.32% on the Long-Range Arena benchmark. On the full raw Speech Command recognition, dataset Liquid-S4 achieves 96.78% accuracy with a 30% reduction in parameter counts compared to S4. The additional gain in performance is the direct result of the Liquid-S4's kernel structure that takes into account the similarities of the input sequence samples during training and inference.

研究动机与目标

• 提升结构化状态空间模型（SSMs）在长序列数据上的泛化能力与因果推理能力。
• 通过将连续时间神经网络（如LTC）与S4的高效核计算相结合，解决其可扩展性与表达能力的局限性。
• 开发一种线性状态空间模型，可在推理过程中动态适应输入序列，提升在文本、音频、图像和时间序列等多种模态上的性能。
• 在多个基准测试中实现最先进性能，同时相比S4及其他SOTA模型减少模型参数量。

提出的方法

• 提出一种线性化液态时变常数（LTC）状态空间模型，其状态转移动态依赖于输入：$\dot{x} = (\mathbf{A} + \mathbf{B}u)x + \mathbf{B}u$，其中$u$为输入信号。
• 在S4框架基础上，对状态转移矩阵应用对角加低秩分解，通过频域核变换实现高效计算。
• 引入一种新型卷积核，可捕捉时间延迟中输入信号的相似性，提升表示学习能力，超越标准S4模型。
• 采用HiPPO投影机制以记忆历史信号内容，保留长程依赖关系。
• 利用逆傅里叶变换在时域高效计算核函数，保持计算效率。
• 采用与S4-LegS相同的参数化方式，支持与现有S4实现的直接比较与集成。

实验结果

研究问题

• RQ1 能否有效将液态时变常数网络的输入自适应状态转移动态整合到结构化状态空间模型中，以提升长序列任务的泛化能力？
• RQ2 引入能捕捉时间延迟中信号相似性的输入依赖核项，是否可提升在多样化序列建模任务中的性能？
• RQ3 线性化LTC公式是否能在保持S4的高效性与可扩展性的同时，在多个基准测试中超越S4？
• RQ4 Liquid-S4在图像分类、语音识别和医疗时间序列等长序列任务中，与S4、Transformer、RNN和CNN相比表现如何？
• RQ5 Liquid-S4中参数量的减少在多大程度上促成了性能提升，且未以牺牲准确率为代价？

主要发现

• Liquid-S4在Long-Range Arena基准的全部六个任务上，实现87.32%的新SOTA平均准确率。
• 在完整的原始Speech Command数据集上，Liquid-S4在参数量减少30%的情况下，准确率达到96.78%。
• 在BIDMC生命体征数据集上，Liquid-S4在心率预测上较S4-LegS提升8.7%，呼吸率预测提升36%，血氧饱和度预测提升26.67%。
• 采用阶数$p=3$的液态核时，Liquid-S4在1D像素级图像分类任务中表现优于S4和Transformer基线模型。
• 模型在16kHz Speech Command数据集上展现出强大的零样本泛化能力，准确率达到96.78%，并在SC10简化子集上保持SOTA性能，准确率达98.51%。
• 更小的核尺寸（如ListOps和IMDB任务中最小仅7个单位）已足以实现高性能，显著降低参数量，同时保持或提升准确率。