[论文解读] ACE-NODE: Attentive Co-Evolving Neural Ordinary Differential Equations

Sheo Yon Jhin, Minju Jo+3 more|arXiv (Cornell University)|May 31, 2021

Model Reduction and Neural Networks参考文献 32被引用 6

一句话总结

ACE-NODE 提出了一种新颖的架构，通过协同演化主神经ODE（用于隐藏表征）和独立的注意力ODE（用于动态注意力权重），实现了成对注意力与元素级注意力机制。该方法在图像分类和时间序列预测任务中显著优于现有的基于NODE和非NODE基线模型，在CIFAR-10和PhysioNet等数据集上，AUC最高提升2.13%，准确率最高提升2.13%。

ABSTRACT

Neural ordinary differential equations (NODEs) presented a new paradigm to construct (continuous-time) neural networks. While showing several good characteristics in terms of the number of parameters and the flexibility in constructing neural networks, they also have a couple of well-known limitations: i) theoretically NODEs learn homeomorphic mapping functions only, and ii) sometimes NODEs show numerical instability in solving integral problems. To handle this, many enhancements have been proposed. To our knowledge, however, integrating attention into NODEs has been overlooked for a while. To this end, we present a novel method of attentive dual co-evolving NODE (ACE-NODE): one main NODE for a downstream machine learning task and the other for providing attention to the main NODE. Our ACE-NODE supports both pairwise and elementwise attention. In our experiments, our method outperforms existing NODE-based and non-NODE-based baselines in almost all cases by non-trivial margins.

研究动机与目标

• 为解决现有神经ODE在建模动态注意力方面存在的局限性，而该问题在以往工作中被忽视。
• 通过引入随时间连续演化的协同注意力机制，提升神经ODE的表征能力。
• 证明将注意力机制整合到神经ODE中，可在多种机器学习任务中实现一致的性能提升。
• 探究注意力初始化方式与模型容量在图像与时间序列学习设置下的性能影响。

提出的方法

• 提出一种双协同演化神经ODE框架：一个ODE演化主隐藏状态 $\bm{h}(t)$，另一个演化注意力状态 $\bm{a}(t)$，实现动态注意力学习。
• 引入两种注意力类型：成对注意力（用于多变量时间序列）和元素级注意力（用于图像任务中的特征图）。
• 使用初始隐藏状态 $\bm{h}(0)$ 的相关性矩阵作为 $\bm{a}(0)$，实证表明其优于基于神经网络的初始化方法。
• 采用连续时间训练流程，结合伴随敏感性方法，实现对两个ODE的同步反向传播。
• 在图像任务中通过元素级乘法应用注意力向量 $\bm{a}(t)$ 与 $\bm{h}(t)$；在时间序列任务中通过注意力加权聚合实现。
• 通过在弱Lipschitz连续性假设下证明解的存在性与唯一性，确保系统的理论适定性。

实验结果

研究问题

• RQ1 将协同演化注意力机制整合到神经ODE中，是否能提升下游机器学习任务的性能？
• RQ2 在时间序列与图像任务中，初始注意力 $\bm{a}(0)$ 的选择如何影响模型性能？
• RQ3 所提出的双协同演化ODE架构是否能在不同模态的数据（如图像与多变量时间序列）上实现泛化？
• RQ4 注意力模型容量（如层数）如何影响性能？是否存在过拟合风险？
• RQ5 与固定或全连接层初始化的注意力相比，持续演化的注意力机制是否更具有效性？

主要发现

• 在Human Activity数据集上，ACE-NODE的测试AUC达到0.859，比次优基线模型（Latent-ODE with ODE encoder）高出1.3个百分点。
• 在PhysioNet时间序列数据集上，ACE-NODE的AUC达到0.853，较基线模型（Latent-ODE with ODE encoder）提升1.5个百分点。
• 在CIFAR-10图像分类任务中，ACE-ODE-Net采用更大注意力网络时，准确率达到88.12%，较小型模型（85.99%）提升2.13%。
• 使用相关性矩阵初始化 $\bm{a}(0)$ 的方法显著优于全连接层初始化，在USHCN-DAILY数据集上将MSE降低0.17，在PhysioNet上将AUC提升0.06。
• 将注意力固定为每一步的时间相关性矩阵（Fixed-ACE-ODE-Net）导致性能下降（AUC 0.838 vs. 0.853），表明持续演化机制具有优势。
• 消融实验表明，增加注意力模型规模可提升SVHN与CIFAR-10的性能，但在MNIST上未见提升，提示在简单数据集上存在过拟合风险。