[论文解读] MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling

Yue Qian, Junhui Hou+4 more|arXiv (Cornell University)|May 1, 2020

3D Shape Modeling and Analysis参考文献 52被引用 12

一句话总结

MOPS-Net 是一种可微分的、基于矩阵优化的深度学习框架，用于面向任务的3D点云下采样。该方法通过放松二值约束，将点选择问题建模为连续且可微分的优化问题。它结合局部与全局特征，学习一个软性采样矩阵，实现端到端训练、排列不变性，并在任意下采样比率下，于分类、重建和配准任务中表现出色，性能优于最先进方法，且具备更高的稳定性和效率。

ABSTRACT

This paper explores the problem of task-oriented downsampling over 3D point clouds, which aims to downsample a point cloud while maintaining the performance of subsequent applications applied to the downsampled sparse points as much as possible. Designing from the perspective of matrix optimization, we propose MOPS-Net, a novel interpretable deep learning-based method, which is fundamentally different from the existing deep learning-based methods due to its interpretable feature. The optimization problem is challenging due to its discrete and combinatorial nature. We tackle the challenges by relaxing the binary constraint of the variables, and formulate a constrained and differentiable matrix optimization problem. We then design a deep neural network to mimic the matrix optimization by exploring both the local and global structures of the input data. MOPS-Net can be end-to-end trained with a task network and is permutation-invariant, making it robust to the input. We also extend MOPS-Net such that a single network after one-time training is capable of handling arbitrary downsampling ratios. Extensive experimental results show that MOPS-Net can achieve favorable performance against state-of-the-art deep learning-based methods over various tasks, including classification, reconstruction, and registration. Besides, we validate the robustness of MOPS-Net on noisy data.

研究动机与目标

• 为解决传统下采样方法（如FPS和PDS）缺乏任务针对性、导致下游任务性能下降的局限性。
• 设计一种可微分、可解释的深度学习方法，优化目标为下游任务性能，而非几何均匀性。
• 实现与任务特定网络联合的端到端训练，同时保持排列不变性以增强对输入顺序的鲁棒性。
• 通过单次训练的网络支持任意下采样比率。
• 在现有基于学习的方法（如S-Net和SampleNet）基础上，通过引入局部与全局特征学习，实现更高质量的点选择。

提出的方法

• 将点云下采样建模为具有0-1约束的选择矩阵上的离散组合优化问题。
• 放松二值约束，构建具有隐式目标函数的连续可微分矩阵优化问题。
• 设计一种深度神经网络，通过联合建模输入点云的局部与全局结构，模拟矩阵优化过程。
• 通过可微分架构学习软性采样矩阵，实现对选择过程的反向传播。
• 将采样模块与任务网络（如用于分类或重建）集成，实现端到端训练。
• 通过限制采样矩阵中活跃列的数量，将框架扩展以支持任意下采样比率。

实验结果

研究问题

• RQ1 可微分的、基于优化的深度学习框架是否能在特定任务性能上超越传统方法和现有基于学习的下采样方法？
• RQ2 与仅依赖全局特征的方法相比，同时引入局部与全局特征在点选择质量上提升的机制是什么？
• RQ3 该方法在无需微调的情况下，对多种下采样比率的性能保持程度如何？
• RQ4 与基线方法相比，该方法在噪声输入数据下的鲁棒性如何？
• RQ5 基于矩阵优化的视角是否能带来比纯粹端到端神经生成更可解释、更稳定的训练过程？

主要发现

• MOPS-Net 在3D点云分类、重建和配准任务中达到最先进性能，优于FPS、PDS、S-Net和SampleNet。
• 该方法在广泛下采样比率范围内（如8至512个点）仅通过单次训练的网络即可保持高性能。
• MOPS-Net 在超参数选择上显著优于SampleNet，后者在损失函数超参数上表现出高度敏感性。
• 推理速度高效：对于大规模点云（如40,960个点），MOPS-Net 比FPS更快，且与随机采样相当。
• MOPS-Net 中采样模块的内存与时间消耗极低——4096个点下采样仅需0.04秒和2.56GB GPU内存，而特征提取仍是主要计算开销。
• 大量消融实验表明，局部与全局特征的融合对性能至关重要，若移除局部特征则性能显著下降。