[论文解读] CKConv: Continuous Kernel Convolution For Sequential Data

David W. Romero, Anna Kuzina+3 more|arXiv (Cornell University)|Feb 4, 2021

Human Pose and Action Recognition参考文献 65被引用 13

一句话总结

CKConv 引入了连续核卷积（Continuous Kernel Convolution），这是一种新颖的方法，通过使用神经网络将卷积核参数化为连续函数，从而在不使用循环结构的情况下实现任意长的记忆时域。这使得并行训练成为可能，原生支持非均匀采样数据，并在序列任务上实现了最先进性能，包括置换 MNIST 和非均匀采样数据基准测试，其在速度和简洁性上均优于标准 CNN 和神经 ODE。

ABSTRACT

Conventional neural architectures for sequential data present important limitations. Recurrent networks suffer from exploding and vanishing gradients, small effective memory horizons, and must be trained sequentially. Convolutional networks are unable to handle sequences of unknown size and their memory horizon must be defined a priori. In this work, we show that all these problems can be solved by formulating convolutional kernels in CNNs as continuous functions. The resulting Continuous Kernel Convolution (CKConv) allows us to model arbitrarily long sequences in a parallel manner, within a single operation, and without relying on any form of recurrence. We show that Continuous Kernel Convolutional Networks (CKCNNs) obtain state-of-the-art results in multiple datasets, e.g., permuted MNIST, and, thanks to their continuous nature, are able to handle non-uniformly sampled datasets and irregularly-sampled data natively. CKCNNs match or perform better than neural ODEs designed for these purposes in a faster and simpler manner.

研究动机与目标

• 为克服 RNN 的局限性，如梯度消失和有效记忆时域较小的问题。
• 解决标准 CNN 固定记忆时域和离散核参数化的问题。
• 实现端到端学习连续卷积核，使其能泛化于任意序列长度和采样模式。
• 为建模非均匀和连续序列数据提供一种更简单、更快的神经 ODE 替代方案。

提出的方法

• 使用小型多层感知机（MLP）将卷积核参数化为连续函数，该 MLP 将相对时间步映射为核权重。
• 在卷积过程中于任意相对位置评估连续核，实现灵活且与分辨率无关的操作。
• 使用 SIREN（正弦表示网络）并结合正弦非线性激活函数，以建模复杂、非平滑且高频的核函数。
• 通过在所需相对位置采样连续核来执行卷积，从而实现任意长度序列的并行计算。
• 使用标准反向传播端到端训练整个网络，避免循环结构和梯度不稳定问题。
• 通过在非均匀时间步评估核函数，将模型适配至非均匀采样数据，原生支持可变采样率。

实验结果

研究问题

• RQ1 连续核参数化是否能使卷积网络在无需循环结构或固定核大小的情况下建模长期依赖关系？
• RQ2 与现有方法相比，CKConv 在非均匀采样或非均匀采样序列数据任务上的表现如何？
• RQ3 基于 SIREN 激活函数的连续核是否能比离散核更有效地捕捉序列数据中的复杂高频模式？
• RQ4 CKConv 是否在标准基准测试（如置换 MNIST 和 CIFAR10）上实现最先进性能，同时保持训练效率？
• RQ5 CKCNN 是否能在不重新训练或修改架构的情况下，泛化于不同序列长度和采样率？

主要发现

• CKCNN 在置换 MNIST 上实现了最先进性能，优于标准 CNN 和基于 RNN 的模型。
• 在非均匀采样数据任务（如 CT 和 SC_raw）上，CKCNN 的性能与神经 ODE 相当或更优，且训练速度更快、结构更简单。
• 该模型可在单次前向传播中处理任意长度的序列，且不依赖网络深度或膨胀因子。
• SIREN 核函数中 ω₀ 的最优值随序列长度变化，表明其对时间分辨率和复杂度敏感。
• CKCNN 对数据不规则性表现出鲁棒性，在 PhysioNet 和 CT 数据集上即使在 70% 数据缺失时仍保持高准确率。
• 尽管已采取措施，sCIFAR10 上仍观察到过拟合现象，表明在无更强正则化的情况下，向高维图像数据扩展仍具挑战。