[论文解读] Modelling Long Range Dependencies in $N$D: From Task-Specific to a General Purpose CNN

David M. Knigge, David W. Romero+6 more|arXiv (Cornell University)|Jan 25, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出连续卷积神经网络（CCNN），一种通用卷积神经网络架构，通过使用连续卷积核在无需架构更改的情况下对任意输入维度、分辨率和长度的长程依赖关系进行建模。CCNN 在 1D、2D 和 3D 任务中均达到最先进或具有竞争力的性能，包括在 Long Range Arena 基准测试中以极少参数超越 Transformer 模型。

ABSTRACT

Performant Convolutional Neural Network (CNN) architectures must be tailored to specific tasks in order to consider the length, resolution, and dimensionality of the input data. In this work, we tackle the need for problem-specific CNN architectures. We present the Continuous Convolutional Neural Network (CCNN): a single CNN able to process data of arbitrary resolution, dimensionality and length without any structural changes. Its key component are its continuous convolutional kernels which model long-range dependencies at every layer, and thus remove the need of current CNN architectures for task-dependent downsampling and depths. We showcase the generality of our method by using the same architecture for tasks on sequential ($1{ m D}$), visual ($2{ m D}$) and point-cloud ($3{ m D}$) data. Our CCNN matches and often outperforms the current state-of-the-art across all tasks considered.

研究动机与目标

• 消除对针对输入长度、分辨率和维度量身定制的任务特定 CNN 架构的需求。
• 使单一 CNN 架构能够无需结构修改即可处理任意分辨率、维度和长度的数据。
• 通过参数化连续卷积核而非离散固定大小的核，高效建模长程依赖关系。
• 在序列、图像和点云数据等多种数据模态之间实现泛化，保持一致的性能表现。
• 原生处理非均匀采样和非结构化数据（如点云），而无需体素化处理。

提出的方法

• 使用小型神经网络（核网络）将卷积核参数化为连续函数，实现核大小与参数数量的解耦。
• 通过改变坐标输入的维度（1D、2D 或 3D），在不同数据模态中复用相同的核网络。
• 通过在连续域上进行积分实现连续卷积，实现任意核大小而无需增加参数数量。
• 端到端训练核网络，以学习空间依赖关系的连续表示，从而实现对长程相互作用的建模。
• 利用傅里叶卷积技术提升计算效率，尤其在大核情况下表现更优。
• 在多种任务（1D 序列、2D 图像、3D 点云）中应用相同的 CCNN 架构，无需针对不同模态进行架构修改或超参数调优。

实验结果

研究问题

• RQ1 单一 CNN 架构是否可在无需架构修改的情况下泛化至 1D、2D 和 3D 数据？
• RQ2 连续卷积核是否能有效建模长程依赖关系，而无需依赖深度或池化层？
• RQ3 连续核参数化是否能提升在不同数据分辨率和采样模式下的泛化能力？
• RQ4 极小的 CCNN 是否可在稀疏 3D 点云数据上实现优异性能？为何更大的模型表现反而更差？
• RQ5 CCNN 是否能原生处理非均匀采样数据，而无需体素化或基于网格的表示？

主要发现

• CCNN 在 Long Range Arena 基准测试中达到最先进性能，6,380 参数的模型在 Pathfinder 任务上达到 96.00% 准确率，在 2D 图像任务上达到 91.12%。
• 在 ModelNet40 上，6,380 参数的 CCNN 超越了更大参数量的模型（200k 和 2M 参数），在点云数据上实现 91.12% 的准确率。
• CCNN 在不同数据表示间具有泛化能力：在原始点云上达到 90.99% 准确率，在体素化版本上达到 90.64%，表现出对输入格式的鲁棒性。
• 参数量较小的 CCNN（6k–48k 参数）在 3D 点云任务上优于更大模型，表明稀疏性和混叠效应限制了大模型的性能。
• 连续核公式化使模型能够原生处理非均匀采样数据，无需网格转换或插值操作。
• CCNN 在多个基准测试中性能与或超过专用模型（如 Transformer 和 S4），且参数量显著更少。