[论文解读] HiPPO: Recurrent Memory with Optimal Polynomial Projections

Albert Gu, Tri Dao+3 more|arXiv (Cornell University)|Aug 17, 2020

Time Series Analysis and Forecasting参考文献 73被引用 148

一句话总结

HiPPO 通过带时间可变度量的最优多项式投影引入在线记忆，统一并扩展了如 LMU 与 RNN 门控等记忆机制，并提出 HiPPO-LegS 用于对时间尺度鲁棒的记忆，且具有强有力的实证结果。

ABSTRACT

A central problem in learning from sequential data is representing cumulative history in an incremental fashion as more data is processed. We introduce a general framework (HiPPO) for the online compression of continuous signals and discrete time series by projection onto polynomial bases. Given a measure that specifies the importance of each time step in the past, HiPPO produces an optimal solution to a natural online function approximation problem. As special cases, our framework yields a short derivation of the recent Legendre Memory Unit (LMU) from first principles, and generalizes the ubiquitous gating mechanism of recurrent neural networks such as GRUs. This formal framework yields a new memory update mechanism (HiPPO-LegS) that scales through time to remember all history, avoiding priors on the timescale. HiPPO-LegS enjoys the theoretical benefits of timescale robustness, fast updates, and bounded gradients. By incorporating the memory dynamics into recurrent neural networks, HiPPO RNNs can empirically capture complex temporal dependencies. On the benchmark permuted MNIST dataset, HiPPO-LegS sets a new state-of-the-art accuracy of 98.3%. Finally, on a novel trajectory classification task testing robustness to out-of-distribution timescales and missing data, HiPPO-LegS outperforms RNN and neural ODE baselines by 25-40% accuracy.

研究动机与目标

• 提供一个正式框架，用时间变换的度量控制的多项式投影来在线压缩并记住过去的信息。
• 将现有的记忆机制（如 LMU、GRU/LSTM 门控）统一到一个单一的理论结构下。
• 推导新的记忆更新规则（如 HiPPO-LegS），使其具有时间尺度鲁棒性且高效。
• 在长期依赖基准上展示理论保证（梯度界、更新效率）和经验增益。

提出的方法

• 将记忆表述为对 f(t) 的在线函数逼近，使用相对于 μ^(t) 的多项式子空间。
• 对 μ^(t) 使用正交多项式以获得最优系数表示 c(t) = coef_t(proj_t(f))。
• 证明 c(t) 按线性 ODE 进化： d/dt c(t) = A(t)c(t) + B(t)f(t) 并离散化为高效的递推。
• 对 LegT、LagT、LegS 措施实例化 HiPPO，以推导相应的更新规则（包括 LMU 等价与 LegS）。
• 证明 LegS 使用放缩后 Legendre 度量 μ^(t) = (1/t) 在 [0,t]，从而获得时间尺度不变的更新，LegS 递推的每步复杂度为 O(N)。
• 将 HiPPO 记忆与门控型 RNN 联系起来，表明 N=1 时可得到类似门控的动力学，包括 GRU/LSTM 风格的行为。

实验结果

研究问题

• RQ1 是否可以通过带时间变换的多项式投影实现一个统一的序列记忆机制，而无需预先指定时间尺度？
• RQ2 不同的度量 μ^(t) 如何影响记忆动态、稳定性和在线多项式投影记忆的可扩展性？
• RQ3 与传统 RNN 和 LMU 相比，HiPPO-LegS 的理论优势（如梯度边界、时间尺度鲁棒性）和实际性能提升是什么？
• RQ4 是否可以将基于 HiPPO 的记忆高效整合到标准神经网络架构中，并扩展到数百万个时间步？
• RQ5 HiPPO 基于的模型对时间尺度分布变化和缺失数据是否具有鲁棒性？

主要发现

模型	Val. acc. (%)	Test acc. (%)
LegS	98.34	98.3
LagT	98.15	-
LegT θ=200	98.0	-
LegT θ=20	91.75	-
Rand	69.93	-
LMU	97.08	97.15
ExpRNN	94.67	-
GRU	93.04	-
MGU	89.37	-
RNN	52.98	-

• HiPPO 能从第一原理还原 LMU，并将 RNN 的门控样行为解释为一个低阶 HiPPO 情况。
• HiPPO-LegS 提供时间尺度鲁棒的记忆，具有 O(N) 的每步更新和有界梯度，在长期任务上优于基线。
• 在 permuted MNIST 上，HiPPO-LegS 达到 98.3% 的测试准确率，刷新了循环模型的最新性能。
• HiPPO-LegS 在轨迹分类中对未见时间尺度和缺失数据具有很好的泛化性，相较于 RNN 和神经 ODE 基线提高了 25–40% 的准确率。
• LegS 对输入时间尺度是不变的，梯度流保持稳定，理论误差界随输入平滑性提升而改善。
• 函数重建实验表明 LegS 在 CPU 上每秒可达到高达 470,000 次时间步更新，显著快于 LSTM/LMU。