[论文解读] Modeling Local Geometric Structure of 3D Point Clouds using Geo-CNN

Shiyi Lan, Ruichi Yu+2 more|arXiv (Cornell University)|Nov 19, 2018

3D Shape Modeling and Analysis参考文献 52被引用 15

一句话总结

本文提出Geo-CNN，一种新型的3D点云网络，通过一种称为GeoConv的卷积类操作显式建模局部几何结构。GeoConv将中心点与其邻点之间的边特征沿三个正交基分解，然后根据向量方向聚合，以保留欧几里得几何特性，在ModelNet40（93.4%准确率）和KITTI数据集上达到最先进性能。

ABSTRACT

Recent advances in deep convolutional neural networks (CNNs) have motivated researchers to adapt CNNs to directly model points in 3D point clouds. Modeling local structure has been proven to be important for the success of convolutional architectures, and researchers exploited the modeling of local point sets in the feature extraction hierarchy. However, limited attention has been paid to explicitly model the geometric structure amongst points in a local region. To address this problem, we propose Geo-CNN, which applies a generic convolution-like operation dubbed as GeoConv to each point and its local neighborhood. Local geometric relationships among points are captured when extracting edge features between the center and its neighboring points. We first decompose the edge feature extraction process onto three orthogonal bases, and then aggregate the extracted features based on the angles between the edge vector and the bases. This encourages the network to preserve the geometric structure in Euclidean space throughout the feature extraction hierarchy. GeoConv is a generic and efficient operation that can be easily integrated into 3D point cloud analysis pipelines for multiple applications. We evaluate Geo-CNN on ModelNet40 and KITTI and achieve state-of-the-art performance.

研究动机与目标

• 解决现有3D点云网络中缺乏对局部几何结构的显式建模问题。
• 降低阻碍几何结构学习的3D坐标方差。
• 在整个深度特征层次中保持欧几里得空间中的几何关系。
• 通过特征级多视角增强实现高效、旋转等变的特征学习。
• 在3D点云分类与检测任务中实现最先进性能。

提出的方法

• GeoConv对每个点及其由半径定义的局部球形邻域应用类似卷积的操作。
• 将中心点与邻点之间的边特征分解为三个正交基（x, y, z），以减少坐标方差。
• 对每个基应用与方向相关的权重矩阵以提取特征，随后根据边向量与各基之间的夹角对结果进行加权聚合。
• 通过边向量的模长对边特征加权，计算局部特征，以保留几何结构。
• 通过堆叠多个感受野逐步增大的GeoConv层构建分层Geo-CNN，并使用通道维度的最大池化实现排列不变性。
• 通过重加权角度实现特征级多视角增强，无需输入增强即可近似3D旋转。

实验结果

研究问题

• RQ1 显式建模局部几何结构能否提升3D点云表征学习？
• RQ2 沿正交基分解边特征是否能增强几何不变性并提升性能？
• RQ3 能否在不依赖输入级数据增强的情况下，通过深层特征层次保持几何结构？
• RQ4 所提方法是否在3D形状分类与目标检测中优于现有模型？
• RQ5 特征级多视角增强是否能实现优于输入级增强的泛化性能？

主要发现

• Geo-CNN在ModelNet40基准上达到93.4%的准确率，创下新最先进记录。
• 消融实验表明，GeoConv的性能提升并非源于模型复杂度增加，即使在更大的基线模型上也成立。
• 特征级多视角近似将Geo-CNN在ModelNet40上的准确率提升至93.9%，优于输入级增强。
• 输入级多视角增强导致基线模型与Geo-CNN性能均下降，可能因不同视角间方差过高。
• 消融研究证实，通过向量分解建模几何结构才是关键，而非参数量增加。
• GeoConv通过基于角度的聚合实现高效、旋转等变的特征学习，提升泛化能力。