[论文解读] LAKe-Net: Topology-Aware Point Cloud Completion by Localizing Aligned Keypoints

Junshu Tang, Zhijun Gong+3 more|arXiv (Cornell University)|Mar 31, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

LAKe-Net 提出了一种拓扑感知的点云补全框架，通过定位对齐的关键点并生成表面骨架来保留拓扑结构，从而提升形状补全性能。该方法通过引入关键点-骨架-形状预测流程，结合非对称关键点定位器、表面骨架生成以及递归骨架辅助精炼机制，在 PCN 和 ShapeNet 基准上实现了显著的 mIoU 和 EMD 提升，达到当前最优性能。

ABSTRACT

Point cloud completion aims at completing geometric and topological shapes from a partial observation. However, some topology of the original shape is missing, existing methods directly predict the location of complete points, without predicting structured and topological information of the complete shape, which leads to inferior performance. To better tackle the missing topology part, we propose LAKe-Net, a novel topology-aware point cloud completion model by localizing aligned keypoints, with a novel Keypoints-Skeleton-Shape prediction manner. Specifically, our method completes missing topology using three steps: 1) Aligned Keypoint Localization. An asymmetric keypoint locator, including an unsupervised multi-scale keypoint detector and a complete keypoint generator, is proposed for localizing aligned keypoints from complete and partial point clouds. We theoretically prove that the detector can capture aligned keypoints for objects within a sub-category. 2) Surface-skeleton Generation. A new type of skeleton, named Surface-skeleton, is generated from keypoints based on geometric priors to fully represent the topological information captured from keypoints and better recover the local details. 3) Shape Refinement. We design a refinement subnet where multi-scale surface-skeletons are fed into each recursive skeleton-assisted refinement module to assist the completion process. Experimental results show that our method achieves the state-of-the-art performance on point cloud completion.

研究动机与目标

• 解决现有点云补全方法因直接预测点位置而无法恢复缺失拓扑结构的局限性。
• 通过关键点和骨架等结构化表示显式建模几何拓扑，以提升补全质量。
• 开发一种弱监督方法，无需大规模 3D 数据中的密集标注即可定位对齐的关键点。
• 通过将多尺度表面骨架作为结构先验，提升形状精炼效果。
• 在极少监督条件下，展示方法在多样化 3D 类别上的鲁棒性与泛化能力。

提出的方法

• 引入非对称关键点定位器，结合无监督多尺度关键点检测器（UMKD）与完整关键点生成器（CKG），在部分点云和完整点云上定位对齐的关键点。
• 对齐关键点定义为在类别内对象间保持顺序一致性，从而为关键点预测提供稳定且具有语义意义的监督信号。
• 提出一种新型表面骨架生成方法，利用几何先验，结合曲线与三角面片，以表示复杂的拓扑细节。
• 将多尺度表面骨架输入基于折叠的精炼子网络，并引入递归骨架辅助精炼模块（RSR），逐步优化补全输出。
• 采用两阶段训练策略：首先通过自编码器重建粗略形状，然后利用关键点与骨架监督进行精炼。
• 在 UMKD 中使用类别特定偏移预测器（csop），以提升在多样化 3D 类别中的关键点检测性能，避免预测关键点的聚合问题。

Figure 1 : Illustration of (a) visual comparison results of current completion methods, (b) completion process of our LAKe-Net, and (c) aligned keypoints. Compared with GRNet [ 34 ] , PMP-Net [ 29 ] , PoinTr [ 40 ] and Snowflake [ 32 ] , LAKe-Net can effectively recover missing topology part (see Re

实验结果

研究问题

• RQ1 能否在无需密集标注的情况下，通过弱监督方法从部分点云中可靠定位对齐的关键点？
• RQ2 结构化拓扑表示（如表面骨架）如何在直接点预测之外提升点云补全性能？
• RQ3 多尺度表面骨架在补全任务中对局部几何细节恢复的增强程度如何？
• RQ4 与端到端点预测方法相比，所提出的 关键点-骨架-形状 预测流程在拓扑准确性和重建质量方面表现如何？
• RQ5 在真实场景中，面对关键点检测误差与形状误分类时，该方法是否具备鲁棒性？

主要发现

• LAKe-Net 在 PCN 数据集上达到当前最优性能，Vessel 类别的平均 EMD 为 0.958，mIoU 达 74.0，优于先前方法。
• 消融实验表明，若将完整关键点替换为 FPS 下采样点，性能显著下降（EMD：1.963 vs. 1.557），证明结构化关键点表示的必要性。
• 若移除表面骨架，EMD 上升至 2.251，表明表面骨架对细粒度拓扑恢复至关重要。
• 类别特定偏移预测器（csop）相比单一不变预测器，在各类别中使 mIoU 提升 10–20 个百分点，证明其在多类别泛化中的有效性。
• 在 5% 关键点扰动与形状误分类条件下，方法仍保持鲁棒性，EMD 仅适度上升（如 1.700 vs. 1.557），表明在真实噪声环境下的稳定性。
• 可视化结果表明，与基线方法相比，LAKe-Net 能检测到更多显著且具有语义意义的关键点，尤其在连接处与结构部件上表现更优。

Figure 2 : The overall architecture of LAKe-Net, which consists of two parts including Point Cloud Reconstruction ( Blue ) and Point cloud Completion ( Red ). We show the detailed structure of (a) Auto-encoder $E$ , (b) Complete Keypoint Generator $G$ and (c) Recursive Skeleton-assisted Refinement m