[论文解读] Image2Point: 3D Point-Cloud Understanding with Pretrained 2D ConvNets.

Chenfeng Xu, Shijia Yang+7 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Neural Network Applications参考文献 75被引用 13

一句话总结

本文提出 Image2Point 方法，通过将预训练的 2D 卷积神经网络的卷积核膨胀为 3D 形式，并微调输入、输出及归一化层，实现将 2D 卷积神经网络的知识迁移至 3D 点云理解任务。该方法在 3D 分类与分割任务上取得了具有竞争力的性能，优于许多未经架构修改的专用点云模型。

ABSTRACT

3D point-clouds and 2D images are different visual representations of the physical world. While human vision can understand both representations, computer vision models designed for 2D image and 3D point-cloud understanding are quite different. Our paper investigates the potential for transferability between these two representations by empirically investigating whether this approach works, what factors affect the transfer performance, and how to make it work even better. We discovered that we can indeed use the same neural net model architectures to understand both images and point-clouds. Moreover, we can transfer pretrained weights from image models to point-cloud models with minimal effort. Specifically, based on a 2D ConvNet pretrained on an image dataset, we can transfer the image model to a point-cloud model by extit{inflating} 2D convolutional filters to 3D then finetuning its input, output, and optionally normalization layers. The transferred model can achieve competitive performance on 3D point-cloud classification, indoor and driving scene segmentation, even beating a wide range of point-cloud models that adopt task-specific architectures and use a variety of tricks.

研究动机与目标

• 探究预训练的 2D 卷积神经网络是否可有效迁移至 3D 点云理解任务。
• 识别影响 2D 图像与 3D 点云之间迁移性能的关键因素。
• 开发一种低代价方法，将 2D 模型适配至 3D 点云任务。
• 评估此类迁移是否可达到或超越专用 3D 点云模型的性能。

提出的方法

• 通过在深度维度复制权重，将预训练 2D 卷积神经网络的 2D 卷积核膨胀为 3D 卷积核。
• 微调 3D 模型的输入与输出层，使其与点云数据分布对齐。
• 可选地微调批量归一化层，以适应新输入模态。
• 使用相同的模型架构处理 2D 图像与 3D 点云，以实现直接迁移。
• 在滤波器膨胀初始化后，端到端训练 3D 模型于点云数据集。
• 应用标准的数据增强与优化技术，以提升 3D 任务上的泛化能力。

实验结果

研究问题

• RQ1 预训练的 2D 卷积神经网络是否可有效迁移至 3D 点云理解任务？
• RQ2 哪些因素对这种跨模态迁移的性能影响最大？
• RQ3 如何优化迁移过程，以在极少架构修改下实现具有竞争力的结果？
• RQ4 迁移后的模型是否在标准基准上超越现有 3D 专用模型？

主要发现

• Image2Point 方法仅通过最小化对预训练 2D 模型的调整，即在 3D 点云分类任务上实现了具有竞争力的性能。
• 滤波器膨胀结合输入与输出层的微调，可有效实现从 2D 到 3D 表征的迁移。
• 迁移后的模型优于大量使用复杂架构与任务特异性设计技巧的 3D 专用模型。
• 该方法在多种 3D 理解任务中泛化良好，包括室内与驾驶场景分割。
• 微调归一化层可进一步提升性能，表明其在跨模态适配中的重要性。
• 该方法表明，2D 与 3D 之间共享模型架构是有效的，挑战了对专用 3D 设计的必要性。