[论文解读] Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules

Kazuki Irie, Francesco Faccio+1 more|arXiv (Cornell University)|Jun 3, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种基于神经微分方程的连续学习规则，用于通过连续时间机制学习编程神经网络，提出了基于神经ODE的快速权重程序员（FWP）和线性Transformer的连续时间版本。该方法通过ODE建模突触权重的动态更新，生成随时间变化的秩一矩阵，并将这些矩阵相加形成表达能力强且内存高效的权重矩阵，在长序列和非均匀采样时间序列上实现了最先进性能，同时克服了现有神经控制微分方程（NCDE）模型的可扩展性限制。

ABSTRACT

Neural ordinary differential equations (ODEs) have attracted much attention as continuous-time counterparts of deep residual neural networks (NNs), and numerous extensions for recurrent NNs have been proposed. Since the 1980s, ODEs have also been used to derive theoretical results for NN learning rules, e.g., the famous connection between Oja's rule and principal component analysis. Such rules are typically expressed as additive iterative update processes which have straightforward ODE counterparts. Here we introduce a novel combination of learning rules and Neural ODEs to build continuous-time sequence processing nets that learn to manipulate short-term memory in rapidly changing synaptic connections of other nets. This yields continuous-time counterparts of Fast Weight Programmers and linear Transformers. Our novel models outperform the best existing Neural Controlled Differential Equation based models on various time series classification tasks, while also addressing their fundamental scalability limitations. Our code is public.

研究动机与目标

• 开发能够通过动态变化的突触权重来学习操纵短期记忆的连续时间序列处理模型。
• 解决现有神经控制微分方程（NCDE）模型的可扩展性限制，特别是其随序列长度呈二次增长的内存消耗问题。
• 基于基于ODE的学习规则，为快速权重程序员和线性Transformer建立连续时间框架。
• 通过连续伴随方法实现在典型FWP架构中高维状态空间的内存高效反向传播。
• 在时间序列分类任务中，通过实证验证所提模型相较于现有基于神经ODE的序列处理器的优越性能。

提出的方法

• 该模型使用神经ODE生成随时间变化的秩一权重矩阵，这些矩阵随时间累加，形成二级网络的动态权重矩阵。
• 权重更新机制被建模为由ODE控制的连续过程，其中隐藏状态根据由神经网络参数化的学习向量场演化。
• 所得权重矩阵通过矩阵乘法作用于隐藏状态，实现类似于FWP和线性Transformer的动态记忆操作。
• 该方法采用基于连续伴随的反向传播，高效计算梯度，避免在长序列中存储中间状态。
• ODE的控制信号通过可微插值（如自然样条）从输入序列导出，支持端到端训练。
• 该架构被形式化为神经控制微分方程（NCDE），其中控制路径由输入序列导出，漂移函数由神经网络学习。

实验结果

研究问题

• RQ1 通过神经ODE建模的连续时间学习规则，能否有效替代记忆增强网络（如快速权重程序员）中的离散时间学习机制？
• RQ2 在长序列或非均匀采样时间序列上，基于ODE的连续学习规则与标准NCDE相比，在性能和可扩展性方面表现如何？
• RQ3 连续伴随方法能否在不产生高昂内存成本的前提下，有效处理类似FWP模型的高维状态空间？
• RQ4 在连续ODE框架中，通过时间累加秩一矩阵对模型表达能力和泛化性能有何影响？
• RQ5 基于ODE和学习规则的连续时间模型，在标准基准测试中，能在多大程度上超越现有基于神经ODE的序列处理器？

主要发现

• 所提出的FWP-NODE/NCDE模型在三个标准时间序列分类任务上优于现有最佳的基于神经ODE的序列处理器，包括长序列和非均匀采样序列。
• 在PhysioNet败血症和语音命令数据集上，模型实现了显著的性能提升，优于先前基于NCDE的模型。
• 连续伴随方法实现了对具有$O(d^2)$状态规模的类似FWP模型的内存高效训练，避免了标准反向传播在长序列中导致的内存爆炸。
• 该架构成功解决了标准NCDE模型的根本可扩展性限制，后者因存储所有中间状态而导致二次方内存增长。
• 在ODE框架中通过时间累加秩一矩阵，相比标准NCDE中孤立的秩一更新，能实现更具表达力的变换。
• 实证结果表明，尽管未对求解器或插值方法进行超参数调优，所提模型在某些任务上仍实现了与离散时间模型相当或更优的性能。