[论文解读] Meta-PU: An Arbitrary-Scale Upsampling Network for Point Cloud

Shuquan Ye, Dongdong Chen+3 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 29被引用 9

一句话总结

Meta-PU 提出首个支持任意缩放因子（包括非整数缩放）的点云上采样网络，采用元学习方法。通过元子网络动态调整权重，并结合残差图卷积模块与最远采样层，Meta-PU 实现了单模型在所有缩放因子下的推理，性能优于单尺度基线方法，同时对稀疏、噪声及未见数据保持鲁棒性。

ABSTRACT

Point cloud upsampling is vital for the quality of the mesh in three-dimensional reconstruction. Recent research on point cloud upsampling has achieved great success due to the development of deep learning. However, the existing methods regard point cloud upsampling of different scale factors as independent tasks. Thus, the methods need to train a specific model for each scale factor, which is both inefficient and impractical for storage and computation in real applications. To address this limitation, in this work, we propose a novel method called ``Meta-PU" to firstly support point cloud upsampling of arbitrary scale factors with a single model. In the Meta-PU method, besides the backbone network consisting of residual graph convolution (RGC) blocks, a meta-subnetwork is learned to adjust the weights of the RGC blocks dynamically, and a farthest sampling block is adopted to sample different numbers of points. Together, these two blocks enable our Meta-PU to continuously upsample the point cloud with arbitrary scale factors by using only a single model. In addition, the experiments reveal that training on multiple scales simultaneously is beneficial to each other. Thus, Meta-PU even outperforms the existing methods trained for a specific scale factor only.

研究动机与目标

• 解决现有点云上采样方法中为每个缩放因子单独训练模型所导致的效率低下与不切实际的问题。
• 实现单个模型处理任意缩放因子（包括非整数）而无需微调或重新训练。
• 通过在统一框架中联合训练多个缩放因子，提升所有缩放因子下的性能。
• 确保对稀疏、噪声及非均匀点云（包括真实世界 LiDAR 数据）的鲁棒性。
• 为 3D 重建及网格化、分类等下游应用提供灵活、高效且可泛化的解决方案。

提出的方法

• 提出一种元-RGC 模块，其权重由基于目标缩放因子的轻量级元子网络动态预测。
• 采用残差图卷积（RGC）模块以提取局部几何特征并捕捉点之间的关系。
• 利用最远采样模块，根据缩放因子生成任意数量的输出点。
• 端到端联合训练整个网络，同时优化多个缩放因子，实现联合优化。
• 利用元学习，使主干网络在推理时可自适应调整行为，而无需重新训练。
• 采用可微分架构，支持推理时对任意缩放因子进行实时上采样。

实验结果

研究问题

• RQ1 单个深度学习模型能否在点云上采样中泛化至任意缩放因子（包括非整数缩放）？
• RQ2 与为每个缩放因子单独训练模型相比，联合训练多个缩放因子是否能提升性能？
• RQ3 所提出的元学习机制能否在推理时动态适应不同缩放因子的网络权重？
• RQ4 该模型在未见数据分布（如真实扫描的 LiDAR 点云）上的泛化能力如何？
• RQ5 该方法在点云分类与网格重建等下游任务中的性能提升程度如何？

主要发现

• Meta-PU 在所有测试缩放因子上均达到最先进性能，甚至超越为单个缩放因子专门训练的模型。
• 该模型在未见数据集（包括 SHREC15 和 KITTI LiDAR 扫描）上泛化良好，无需微调。
• 成功处理非整数缩放因子（如 1.25x、1.75x、2.25x），而现有单尺度模型难以实现。
• 在稀疏输入（低至 512 个点）和含高达 1% 高斯抖动的噪声点云中保持高度鲁棒性。
• 在点云分类任务中，从 512 个点上采样得到的性能与原始 2048 个点输入相当。
• 多个缩放因子的联合训练提升了泛化能力，并使每个单独缩放因子的性能优于单尺度基线方法。