[论文解读] Fusion-Aware Point Convolution for Online Semantic 3D Scene Segmentation

Jiazhao Zhang, Chenyang Zhu+2 more|arXiv (Cornell University)|Mar 13, 2020

3D Shape Modeling and Analysis参考文献 36被引用 4

一句话总结

本文提出了一种融合感知的3D点卷积方法，用于在实时RGB-D重建过程中进行在线语义3D场景分割。该方法采用双树数据结构——全局坐标区间树与局部八叉树，实现动态、高效的3D卷积，利用帧间时间相关性，在ScanNet等基准数据集上以10 FPS的速度实现了最先进（SOTA）的精度。

ABSTRACT

Online semantic 3D segmentation in company with real-time RGB-D reconstruction poses special challenges such as how to perform 3D convolution directly over the progressively fused 3D geometric data, and how to smartly fuse information from frame to frame. We propose a novel fusion-aware 3D point convolution which operates directly on the geometric surface being reconstructed and exploits effectively the inter-frame correlation for high quality 3D feature learning. This is enabled by a dedicated dynamic data structure which organizes the online acquired point cloud with global-local trees. Globally, we compile the online reconstructed 3D points into an incrementally growing coordinate interval tree, enabling fast point insertion and neighborhood query. Locally, we maintain the neighborhood information for each point using an octree whose construction benefits from the fast query of the global tree.Both levels of trees update dynamically and help the 3D convolution effectively exploits the temporal coherence for effective information fusion across RGB-D frames.

研究动机与目标

• 实现实时、在线的增量RGB-D重建过程中的语义3D场景分割。
• 解决在随时间变化、逐步融合的3D几何数据上执行3D卷积的挑战。
• 利用帧间时间相关性以提升3D特征学习与分割精度。
• 设计一种高效的内存数据结构，支持动态点插入、邻域查询与表面感知卷积。

提出的方法

• 使用全局坐标区间树维护在线重建的3D点的增量式空间组织，实现快速点插入与邻域查询。
• 基于全局树的快速查询能力，为每个点构建局部八叉树，实现基于测地距离近似值的逐点自适应卷积。
• 融合感知的点卷积通过利用全局树检索的点对应关系，整合帧内2D特征与帧间3D特征。
• 基于局部八叉树中近似测地距离的加权卷积核，使邻域选择具有表面感知特性。
• 动态双树结构支持实时更新，并实现语义标签在帧间的渐进式优化。
• 系统集成于交互式流水线中，实现在线分割与实时RGB-D重建的协同处理。

实验结果

研究问题

• RQ1 如何在在线RGB-D融合过程中，对时变3D几何数据有效执行3D卷积？
• RQ2 何种数据结构能够实现在线点云的高效动态维护，同时支持3D卷积所需的快速邻域查询？
• RQ3 如何利用帧间时间相关性以提升3D特征学习与语义分割精度？
• RQ4 与基于欧氏距离的方法相比，通过局部八叉树实现的表面感知邻域选择在多大程度上提升了分割性能？
• RQ5 实时、在线的语义3D分割系统是否能在保持交互帧率的同时实现最先进精度？

主要发现

• 所提方法在ScanNet基准上实现了最先进（SOTA）的语义分割精度，优于所有在线与离线方法。
• 分割精度随时间显著提升，复杂物体如椅子与桌子因帧间特征融合而获得最显著的性能增益。
• 融合感知的点卷积使嵌入空间中的特征表示更具可分性，t-SNE可视化展示了点特征演化过程中的清晰聚类。
• 基于局部八叉树测地距离近似值的表面感知卷积，在所有感受野尺寸下均持续优于基于欧氏距离的邻域选择方法。
• 系统在在线处理下运行于10 FPS，采用关键帧处理时速度更高，证明了其实时可行性。
• 动态全局-局部树结构实现了高效的点插入与邻域查询，支持该方法在大规模在线重建中的可扩展性。