[论文解读] Learning Saliency Maps for Adversarial Point-Cloud Generation

Tianhang Zheng, Changyou Chen+2 more|arXiv (Cornell University)|Nov 28, 2018

3D Shape Modeling and Analysis参考文献 6被引用 6

一句话总结

本文提出一种可微分方法，通过基于梯度的点向质心移动来近似点删除操作，从而为3D点云生成显著性图，实现分类任务中逐点重要性得分的高效计算。该方法在PointNet、PointNet++和DGCNN模型上均能生成准确且可泛化的显著性图。

ABSTRACT

3D point-cloud recognition with PointNet and its variants has received remarkable progress. A missing ingredient, however, is the ability to automatically evaluate point-wise importance w.r.t.\! classification performance, which is usually reflected by a saliency map. A saliency map is an important tool as it allows one to perform further processes on point-cloud data. In this paper, we propose a novel way of characterizing critical points and segments to build point-cloud saliency maps. Our method assigns each point a score reflecting its contribution to the model-recognition loss. The saliency map explicitly explains which points are the key for model recognition. Furthermore, aggregations of highly-scored points indicate important segments/subsets in a point-cloud. Our motivation for constructing a saliency map is by point dropping, which is a non-differentiable operator. To overcome this issue, we approximate point-dropping with a differentiable procedure of shifting points towards the cloud centroid. Consequently, each saliency score can be efficiently measured by the corresponding gradient of the loss w.r.t the point under the spherical coordinates. Extensive evaluations on several state-of-the-art point-cloud recognition models, including PointNet, PointNet++ and DGCNN, demonstrate the veracity and generality of our proposed saliency map. Code for experiments is released on \url{this https URL}.

研究动机与目标

• 解决3D点云识别模型中缺乏自动、逐点重要性评估的问题。
• 实现能够反映每个点对分类损失贡献的显著性图生成。
• 为显著性计算提供对非可微点删除操作的可微分近似。
• 通过聚合的显著性得分识别点云中的关键点和关键区域。
• 确保该方法在PointNet、PointNet++和DGCNN等最先进模型上的泛化能力。

提出的方法

• 通过使用可微分变换将点向点云质心移动，近似点删除操作。
• 显著性得分通过计算分类损失相对于每个点在球坐标系中位置的梯度获得。
• 使用球坐标系可实现对3D点云几何结构的稳定且有意义的梯度计算。
• 通过聚合逐点梯度构建显著性图，突出显示关键点和关键区域。
• 通过用连续、梯度友好的操作替代离散的点删除操作，避免了非可微性。
• 该方法已应用于多种模型，包括PointNet、PointNet++和DGCNN，证明了其广泛适用性。

实验结果

研究问题

• RQ1 如何在3D点云分类任务中有效分配逐点重要性得分？
• RQ2 在显著性图计算中，何种可微分替代方法可取代非可微的点删除操作？
• RQ3 所提出的方法能否在多种点云模型上生成可靠且可解释的显著性图？
• RQ4 显著性得分与点云中实际模型性能及关键区域之间存在何种关联？
• RQ5 该方法在PointNet、PointNet++和DGCNN等不同架构上的泛化程度如何？

主要发现

• 所提出的方法成功生成了能准确反映点对分类损失贡献的显著性图。
• 可微分的点移动近似方法实现了稳定且高效的梯度计算，无需依赖离散的点删除操作。
• 显著性图突出了关键点和关键区域，为模型决策提供了可解释性。
• 该方法在多种最先进模型（包括PointNet、PointNet++和DGCNN）上表现出色且具有一致性。
• 显著性图具有鲁棒性和泛化能力，表明该方法的有效性不仅限于特定模型架构。
• 该方法的代码已公开发布，支持可复现性与进一步研究。