[论文解读] Detail Preserved Point Cloud Completion via Separated Feature Aggregation

Wenxiao Zhang, Qingan Yan+1 more|arXiv (Cornell University)|Jul 5, 2020

3D Shape Modeling and Analysis参考文献 1被引用 8

一句话总结

该论文提出了一种新颖的点云补全框架，通过分别对已知部分和缺失部分采用两种策略进行多层级特征聚合：全局与局部特征聚合（GLFA）和残差特征聚合（RFA），从而保留精细几何细节。该方法在细节保留和形状重建方面优于当前最先进方法，尤其在新类别上表现更优，其专用优化模块可减少异常点并提升均匀性。

ABSTRACT

Point cloud shape completion is a challenging problem in 3D vision and robotics. Existing learning-based frameworks leverage encoder-decoder architectures to recover the complete shape from a highly encoded global feature vector. Though the global feature can approximately represent the overall shape of 3D objects, it would lead to the loss of shape details during the completion process. In this work, instead of using a global feature to recover the whole complete surface, we explore the functionality of multi-level features and aggregate different features to represent the known part and the missing part separately. We propose two different feature aggregation strategies, named global \& local feature aggregation(GLFA) and residual feature aggregation(RFA), to express the two kinds of features and reconstruct coordinates from their combination. In addition, we also design a refinement component to prevent the generated point cloud from non-uniform distribution and outliers. Extensive experiments have been conducted on the ShapeNet dataset. Qualitative and quantitative evaluations demonstrate that our proposed network outperforms current state-of-the art methods especially on detail preservation.

研究动机与目标

• 为解决现有基于学习的点云补全方法因依赖单一全局特征向量而导致几何细节丢失的局限性。
• 通过分别利用多层级特征对已知部分和缺失部分进行建模，提升形状补全性能。
• 增强细节保留和形状预测精度，尤其针对未见过的物体类别。
• 通过引入优化组件，减少生成点云中的噪声和非均匀性。

提出的方法

• 网络采用分层特征学习架构，从输入的局部点云中提取多层级特征。
• 提出两种特征聚合策略：GLFA，将局部特征用于已知部分，全局特征用于缺失部分；RFA，将缺失部分建模为与完整形状的残差差异。
• 通过可学习的组合比例，将已知部分和缺失部分的特征进行融合，以重建完整的3D形状。
• 引入一个优化组件，包括FPS用于均匀采样，注意力模块用于抑制无效点，以及局部折叠单元用于生成高分辨率、平滑的表面。
• 在ShapeNet数据集上端到端训练网络，使用Chamfer Distance和F-Score作为优化指标。
• 在已知类别和新类别上均进行评估，并对特征层级数量和组合比例进行消融实验。

实验结果

研究问题

• RQ1 将已知部分和缺失部分的特征表示分开，是否能提升点云补全中的细节保留？
• RQ2 不同的特征聚合策略——GLFA与RFA——在已知类别与新类别上的性能表现有何差异？
• RQ3 专用优化组件在多大程度上减少了生成点云中的非均匀性和异常点？
• RQ4 该方法对特征层级数量以及已知部分与缺失部分特征的组合比例有多敏感？

主要发现

• 所提出的NSFA-RFA策略在整体性能上表现最佳，在已知类别上的Chamfer Distance为8.06，在新类别上为10.08。
• NSFA-GLFA在新类别上表现更优，已知类别上的Chamfer Distance为8.14，新类别上为9.98。
• 与无优化组件的结果相比，优化组件使已知类别上的Chamfer Distance降低0.59，新类别上降低0.11。
• 已知部分与缺失部分特征的最佳组合比例接近1:1；若比例为1:3或0:4，则性能显著下降。
• 增加特征层级数量可提升性能，至5–6层时达到最优，但进一步增加（如6层）会导致GLFA因特征边界模糊而性能下降。
• 网络学习到了物体的对称特性，从而能够准确补全对称缺失部分，如定性结果所示。