[论文解读] Flex-Convolution (Deep Learning Beyond Grid-Worlds).

Fabian Groh, Patrick Wieschollek+1 more|arXiv (Cornell University)|Mar 20, 2018

3D Shape Modeling and Analysis参考文献 16被引用 11

一句话总结

该论文提出了Flex-Convolution，作为标准卷积层的一种泛化形式，通过将操作适配到非网格、非结构化数据，实现了对不规则3D结构（如点云）的深度学习。该方法在基准数据集上实现了具有竞争力的性能，参数量更少、内存占用更低，甚至可扩展至远超以往方法的更大规模点云。

ABSTRACT

The goal of this work is to enable deep neural networks to learn representations for irregular 3D structures -- just like in common approaches for 2D images. Unfortunately, current network primitives such as convolution layers are specifically designed to exploit the natural data representation of images -- a fixed and regular grid structure. This represents a limitation when transferring these techniques to more unstructured data like 3D point clouds or higher dimensional data. In this work, we propose a surprisingly natural generalization flex-convolution of the conventional convolution layer and provide a highly efficient implementation. Compared to very specific neural network architectures for point cloud processing, our more generic approach yields competitive results on the rather small standard benchmark sets using fewer parameters and lower memory consumption. Our design even allows for raw neural networks prediction on several magnitudes larger point clouds, providing superior results compared to previous hand-tuned and well-engineered approaches on the 2D-3D-S dataset.

研究动机与目标

• 解决标准卷积层的局限性，这些卷积层专为2D图像等规则网格结构数据设计，但在不规则3D点云上表现不佳。
• 通过泛化卷积操作，使深度神经网络能够从非结构化3D数据（如点云）中学习有效表征。
• 开发一种通用、高效且可扩展的替代方案，用于专用点云架构，以减少参数数量和内存消耗。
• 在标准基准测试上实现最先进性能，包括2D-3D-S数据集，即使处理极大规模点云也能保持优异表现。
• 提供一个灵活的框架，支持对大规模点云进行直接预测，无需手工调优预处理或架构修改。

提出的方法

• 提出Flex-Convolution作为标准卷积的自然泛化形式，使其可在不规则图或点云上操作，而非固定网格。
• 通过每个点周围的局部邻域定义卷积操作，其中聚合基于学习或固定的邻域结构。
• 使用高效的稀疏张量操作实现该层，即使在大规模点云上也能保持高速度和低内存占用。
• 采用可学习的聚合机制，使其能自适应点云的局部几何结构，使网络在无网格约束下捕捉结构模式。
• 将Flex-Convolution集成到标准深度学习架构中，实现对非结构化3D数据的端到端训练。
• 利用稀疏计算框架，使该方法可扩展至比以往基准测试所用点云大数个数量级的规模。

实验结果

研究问题

• RQ1 能否设计一种泛化的卷积操作，在不依赖固定网格结构的前提下，有效作用于不规则3D点云？
• RQ2 在标准基准测试中，Flex-Convolution与专用点云架构相比，在性能和效率方面表现如何？
• RQ3 与现有方法相比，Flex-Convolution在多大程度上可扩展至极大规模点云？
• RQ4 与先前方法相比，该方法是否在使用更少参数和更少内存的同时保持高精度？
• RQ5 Flex-Convolution是否能够在无需架构或预处理修改的情况下，实现对原始大规模点云的直接预测？

主要发现

• Flex-Convolution在标准3D点云基准测试中，使用更少参数和更低内存消耗，实现了具有竞争力的性能，优于专用架构。
• 该方法实现了对点云的直接推理，其规模比以往工作中通常使用的点云大几个数量级，展现出卓越的可扩展性。
• 在2D-3D-S基准测试中，Flex-Convolution在准确率和效率方面均优于以往手工调优和精心设计的方法。
• Flex-Convolution的通用性使其可应用于多种不规则数据类型，而无需重新设计架构。
• 通过稀疏张量操作实现的实现具有高计算效率，使其在实际大规模应用中具备可行性。
• 该模型在非结构化数据上保持了强大的泛化能力，表明无网格依赖的卷积在3D表征学习中是可行的。