[论文解读] Dilated Point Convolutions: On the Receptive Field of Point Convolutions

Francis Engelmann, Theodora Kontogianni+1 more|arXiv (Cornell University)|Jul 28, 2019

3D Shape Modeling and Analysis被引用 23

一句话总结

本文提出了一种新型机制——空洞点卷积（Dilated Point Convolutions, DPC），显著扩大了三维点云处理中点卷积的感受野。通过将空洞机制引入点卷积操作，DPC 在无需架构大规模重构的情况下，提升了语义分割和物体分类任务的性能，在标准基准测试中取得了具有竞争力的结果，同时实现了对更大空间上下文的更好特征聚合。

ABSTRACT

In this work, we propose Dilated Point Convolutions (DPC). In a thorough ablation study, we show that the receptive field size is directly related to the performance of 3D point cloud processing tasks, including semantic segmentation and object classification. Point convolutions are widely used to efficiently process 3D data representations such as point clouds or graphs. However, we observe that the receptive field size of recent point convolutional networks is inherently limited. Our dilated point convolutions alleviate this issue, they significantly increase the receptive field size of point convolutions. Importantly, our dilation mechanism can easily be integrated into most existing point convolutional networks. To evaluate the resulting network architectures, we visualize the receptive field and report competitive scores on popular point cloud benchmarks.

研究动机与目标

• 解决现有用于三维数据处理的点卷积网络中感受野固有的局限性。
• 探究感受野大小与三维点云任务（如语义分割和物体分类）性能之间的直接关系。
• 设计一种可扩展且可集成的空洞机制，以扩大感受野，同时不破坏现有网络架构。
• 通过感受野可视化与标准数据集上的基准性能评估，验证所提方法的有效性。

提出的方法

• 所提方法引入了一种专为点云数据设计的空洞卷积机制，通过增加局部邻域采样点之间的间距来实现感受野的扩展。
• 空洞机制应用于点卷积操作中，使网络能够在保持计算效率的同时捕捉长距离依赖关系。
• 该空洞机制设计为即插即用，可轻松集成到大多数现有点卷积网络中，仅需极少修改。
• 该方法在保持点卷积的不变性与高效性的同时，显著增加了每层所捕获的有效上下文范围。
• 通过感受野可视化，定性验证了各层有效感受野的扩展。

实验结果

研究问题

• RQ1 感受野大小如何影响三维点云语义分割与物体分类任务的性能？
• RQ2 能否有效将空洞机制适配到点卷积中，以扩大其感受野而不影响效率？
• RQ3 所提出的空洞点卷积在标准三维点云基准测试中能将性能提升到何种程度？
• RQ4 在使用所提出的DPC模块时，不同网络架构之间的感受野增长情况如何比较？

主要发现

• 在三维点云处理任务中，感受野大小与性能呈直接相关关系，更大的感受野可带来更优的结果。
• 空洞点卷积成功扩展了点卷积网络的感受野，使模型能够在更大的空间上下文中实现更优的特征聚合。
• 所提方法在主流三维点云基准测试中取得了具有竞争力的性能，表现出最先进或接近最先进水平的结果。
• 空洞机制可无缝集成到现有点卷积网络中，无需架构重构即可提升性能。
• 可视化结果证实，使用空洞卷积后感受野显著扩大，验证了该设计的有效性。