[论文解读] Lipschitz Recurrent Neural Networks

N. Benjamin Erichson, Omri Azencot+3 more|arXiv (Cornell University)|Jun 22, 2020

Anomaly Detection Techniques and Applications参考文献 51被引用 32

一句话总结

这篇论文提出了一种带 Lipschitz 非线性的新型连续时间 Lipschitz RNN，以及对称–斜对称隐藏-隐藏矩阵分解，证明全局指数稳定性并展示在 MNIST、TIMIT 的强性能以及鲁棒性分析。

ABSTRACT

Viewing recurrent neural networks (RNNs) as continuous-time dynamical systems, we propose a recurrent unit that describes the hidden state's evolution with two parts: a well-understood linear component plus a Lipschitz nonlinearity. This particular functional form facilitates stability analysis of the long-term behavior of the recurrent unit using tools from nonlinear systems theory. In turn, this enables architectural design decisions before experimentation. Sufficient conditions for global stability of the recurrent unit are obtained, motivating a novel scheme for constructing hidden-to-hidden matrices. Our experiments demonstrate that the Lipschitz RNN can outperform existing recurrent units on a range of benchmark tasks, including computer vision, language modeling and speech prediction tasks. Finally, through Hessian-based analysis we demonstrate that our Lipschitz recurrent unit is more robust with respect to input and parameter perturbations as compared to other continuous-time RNNs.

研究动机与目标

• 通过将隐藏状态动力学建模为具有线性部分加 Lipschitz 非线性形式的连续时间系统来激发对 RNN 稳定性的关注。
• 推导全局指数稳定性的充分条件，并提出对称–斜对称分解以构建隐藏-隐藏矩阵。
• 在视觉（像素 MNIST）、语言建模和语音任务上展示经验性能提升。
• 通过基于 Hessian 的分析和相对于其他连续时间 RNN 的扰动实验展示鲁棒性优势。

提出的方法

• 提出一个连续时间 RNN：dot{h} = A h + tanh(W h + U x + b) ，其中 A 和 W 采用 A_{β_A,γ_A} 和 W_{β_W,γ_W} 形成的对称–斜对称分解参数化。
• 通过李雅普诺夫方法和圆圈/Kalman–Yakubovitch–Popov 判据在 A^{sym} 和 W 以及非线性性质的条件下建立全局指数稳定性。
• 引入对称-斜分解 S_{β,γ} = (1−β)(M+M^T) + β(M−M^T) − γ I 来界定特征值并控制谱半径。
• 用显式欧拉法或 RK2 积分器对连续模型进行离散化以用于训练，确保步长保持在稳定区域内。
• 在 MNIST 像素逐位处理（有序和置换）、TIMIT 语音预测，以及使用 Hessian 指标和扰动进行鲁棒性测试的评估。

实验结果

研究问题

• RQ1 一个 Lipschitz 连续的 RNN 具有线性+非线性结构能否实现对所有状态的全局指数稳定性？
• RQ2 隐藏矩阵的对称–斜分解如何在表达能力和稳定性之间取得平衡，以缓解梯度消失/爆炸？
• RQ3 Lipschitz RNN 是否在长范围依赖任务（视觉、语言、语音）上超越最先进的循环单元，同时对扰动保持鲁棒性？
• RQ4 在稳定框架内更高阶时间积分（RK2）是否相较于前向欧拉提升预测精度？
• RQ5 基于 Hessian 的分析是否表明 Lipschitz RNN 对输入和参数扰动更加鲁棒？

主要发现

• 在对 A^{sym} 和 W 的温和谱条件以及非线性性质的前提下，Lipschitz RNN 实现了全局指数稳定性。
• 对称–斜分解使隐藏-隐藏矩阵具有表达能力，同时满足稳定性准则，缓解梯度问题。
• 在有序/置换 MNIST 上，Lipschitz RNN 使用 Euler/RK2 的表现与顶尖方法相近或优于在相当参数量下的基线方法。
• 在 TIMIT 上，Lipschitz RNN 使用 Euler/RK2 实现了与最先进方法接近甚至更强的性能，参数量约为 200K。
• RK2 积分在若干任务中比 Euler 提高了准确性，显示在稳定框架内更精确数值积分的好处。
• 基于 Hessian 的分析显示最大特征值更小、迹更低、条件数更好，表明对扰动的鲁棒性以及更平坦的极小值。