[论文解读] Framing RNN as a kernel method: A neural ODE approach

Adeline Fermanian, Pierre Marion+2 more|arXiv (Cornell University)|Jun 2, 2021

Model Reduction and Neural Networks参考文献 80被引用 7

一句话总结

本文通过神经常微分方程（ODE）的视角，将循环神经网络（RNNs）重新诠释为核方法，表明RNN的解对应于输入序列签名特征空间上的线性预测器。在温和条件下，该框架可为包括前馈RNN、GRU和LSTM在内的广泛RNN架构提供泛化与稳定性保证，其理论基础源于再生核希尔伯特空间（RKHS）框架。

ABSTRACT

Building on the interpretation of a recurrent neural network (RNN) as a continuous-time neural differential equation, we show, under appropriate conditions, that the solution of a RNN can be viewed as a linear function of a specific feature set of the input sequence, known as the signature. This connection allows us to frame a RNN as a kernel method in a suitable reproducing kernel Hilbert space. As a consequence, we obtain theoretical guarantees on generalization and stability for a large class of recurrent networks. Our results are illustrated on simulated datasets.

研究动机与目标

• 通过连续时间神经ODE公式，建立RNN与核方法之间的理论联系。
• 证明RNN可被解释为基于输入序列签名变换的再生核希尔伯特空间（RKHS）中的线性预测器。
• 在统一理论框架下，为多种RNN架构（如前馈RNN、GRU和LSTM）推导出泛化与稳定性保证。
• 提出一种理论基础坚实、与架构无关的RNN分析方法，克服现有方法中依赖特定架构的边界限制。
• 通过在合成序列数据上的实验，验证该框架的实际可行性。

提出的方法

• 将RNN建模为连续时间神经ODE，将隐藏状态演化解释为由输入序列驱动的ODE解。
• 使用输入序列的签名变换作为映射到张量空间的特征映射，该空间天然支持RKHS结构。
• 建立RNN输出对应于该RKHS中的线性泛函，从而实现核方法的解释。
• 利用RKHS范数推导泛化边界，并通过正则化提升稳定性。
• 使用PyTorch和Signatory实现框架，用于签名计算，通过SciPy进行数值ODE求解。
• 采用投影梯度下降生成对抗样本，并在实验中评估鲁棒性。

实验结果

研究问题

• RQ1 能否通过连续时间ODE解释，将RNN正式框架化为核方法？
• RQ2 输入序列的签名变换是否可作为通用特征映射，从而支持对RNN的核基分析？
• RQ3 能否在统一的理论框架下，为包括GRU和LSTM在内的广泛RNN类推导出泛化与稳定性边界？
• RQ4 由签名变换诱导的RKHS中的正则化，如何影响RNN的泛化与鲁棒性？
• RQ5 该核解释在实践中在多大程度上成立，尤其是在长期依赖学习中？

主要发现

• 当RNN被解释为神经ODE的解时，可表示为基于输入序列签名的再生核希尔伯特空间（RKHS）中的线性预测器。
• RNN的泛化边界通过RKHS范数推导得出，提供与具体架构细节无关的理论保证。
• 通过RKHS中的正则化可增强稳定性，实验表明使用正则化核公式时，对对抗样本的鲁棒性得到提升。
• 该框架可统一应用于前馈RNN、GRU和LSTM架构，统一了其理论分析。
• 在合成螺旋序列上的实验验证了核解释的有效性，且正则化显著提升了测试准确率与鲁棒性。
• 该方法可通过手动前向模式自动微分高效计算高阶导数，这对ODE解的泰勒展开近似至关重要。