[论文解读] APSNet: Attention Based Point Cloud Sampling

Yang Ye, Xiulong Yang+1 more|arXiv (Cornell University)|Oct 11, 2022

3D Surveying and Cultural Heritage被引用 6

一句话总结

APSNet 提出了一种基于注意力机制的、顺序的点云采样方法，将采样过程建模为使用带有注意力机制的 LSTM 的自回归过程，逐步选择信息量丰富的点。该方法在 3D 分类、重建和配准任务中均达到最先进性能，在低采样率下（例如 m ≤ 128）相比之前的方法准确率最高提升 8%，并通过单一紧凑模型实现任意采样长度的联合训练。

ABSTRACT

Processing large point clouds is a challenging task. Therefore, the data is often downsampled to a smaller size such that it can be stored, transmitted and processed more efficiently without incurring significant performance degradation. Traditional task-agnostic sampling methods, such as farthest point sampling (FPS), do not consider downstream tasks when sampling point clouds, and thus non-informative points to the tasks are often sampled. This paper explores a task-oriented sampling for 3D point clouds, and aims to sample a subset of points that are tailored specifically to a downstream task of interest. Similar to FPS, we assume that point to be sampled next should depend heavily on the points that have already been sampled. We thus formulate point cloud sampling as a sequential generation process, and develop an attention-based point cloud sampling network (APSNet) to tackle this problem. At each time step, APSNet attends to all the points in a cloud by utilizing the history of previously sampled points, and samples the most informative one. Both supervised learning and knowledge distillation-based self-supervised learning of APSNet are proposed. Moreover, joint training of APSNet over multiple sample sizes is investigated, leading to a single APSNet that can generate arbitrary length of samples with prominent performances. Extensive experiments demonstrate the superior performance of APSNet against state-of-the-arts in various downstream tasks, including 3D point cloud classification, reconstruction, and registration.

研究动机与目标

• 为解决如 FPS 等任务无关采样方法的局限性，这些方法在下游任务中会选择非信息量丰富的点。
• 开发一种面向任务的采样策略，根据已采样点动态选择新点，从而提升特定任务的采样质量。
• 通过联合训练实现单一模型高效生成多种采样长度，减少对每种采样长度单独训练模型的需求。
• 探索 APSNet 的监督学习与自监督（知识蒸馏）训练范式，提升泛化能力，且在推理阶段无需标签数据。

提出的方法

• 将点云采样建模为一种顺序的自回归生成过程，其中每个新点的选择均基于先前采样点的历史信息。
• 采用带有注意力机制的 LSTM，关注点云中的所有点，计算上下文感知表示，以选择下一个最具信息量的点。
• 在顺序采样过程之前，使用简化的 PointNet 主干网络提取输入点云的几何特征。
• 提出一种跨多种采样长度（C_s = {8,16,32,64,128}）的联合训练策略，训练单一 APSNet 模型，使其能够生成任意长度的采样结果。
• 采用双损失优化策略：任务特定损失（如分类或重建）与采样损失相结合，以鼓励采样集合的多样性和信息量。
• 支持通过知识蒸馏实现自监督训练，其中学生模型（APSNet）在无需标签的情况下从教师模型（在有标签数据上训练）中学习。

实验结果

研究问题

• RQ1 基于注意力机制的顺序采样方法是否能在下游 3D 视觉任务中超越单次、任务无关的采样方法（如 FPS 和网格采样）？
• RQ2 通过自回归 LSTM 搭载注意力机制建模采样依赖关系，是否能相比非顺序采样网络（如 SampleNet）提升采样质量？
• RQ3 能否通过联合训练使单一 APSNet 模型在无需重新训练的情况下，为多种采样长度生成高质量样本？
• RQ4 当缺乏标签数据时，自监督知识蒸馏在训练 APSNet 中的效果如何？

主要发现

• 在 3D 点云分类任务中，APSNet 在低采样率（m ≤ 128）下相比 SampleNet-M 实现 2% 至 8% 的准确率增益，证明其采样质量更优。
• APSNet-G 在所有 m 值下均优于 SampleNet-M，尤其在低 m 时优势显著，归因于其自回归设计避免了冗余点的生成，且无需昂贵的匹配步骤。
• APSNet-Joint 通过在多种采样长度上联合训练，实现了所有 m 值下的竞争力表现，并始终优于分别训练的 SampleNet 模型。
• APSNet-KD 在无标签数据条件下通过知识蒸馏训练，性能几乎与完全监督的 APSNet 相当，表明其在自监督设置下具备强大的泛化能力。
• 在 m = 512 时，所有方法的准确率均接近全点云分类的上限（90.1%），证实性能在高采样率下趋于饱和。