[论文解读] Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences.

Guangming Wang, Hanwen Liu+4 more|arXiv (Cornell University)|Dec 20, 2020

Human Pose and Action Recognition被引用 6

一句话总结

本文提出ASTACNN，一种用于动态3D点云序列的新型基于锚点的时空注意力卷积神经网络，通过使用虚拟锚点和注意力机制，在空间和时间维度上聚合局部特征，实现了在动作识别和语义分割任务上的最先进性能，相较于先前方法显著提升了准确率。

ABSTRACT

Recently, learning based methods for the robot perception from the image or video have much developed, but deep learning methods for dynamic 3D point cloud sequences are underexplored. With the widespread application of 3D sensors such as LiDAR and depth camera, efficient and accurate perception of the 3D environment from 3D sequence data is pivotal to autonomous driving and service robots. An Anchor-based Spatial-Temporal Attention Convolution operation (ASTAConv) is proposed in this paper to process dynamic 3D point cloud sequences. The proposed convolution operation builds a regular receptive field around each point by setting several virtual anchors around each point. The features of neighborhood points are firstly aggregated to each anchor based on spatial-temporal attention mechanism. Then, anchor-based sparse 3D convolution is adopted to aggregate the features of these anchors to the core points. The proposed method makes better use of the structured information within the local region, and learn spatial-temporal embedding features from dynamic 3D point cloud sequences. Then Anchor-based Spatial-Temporal Attention Convolutional Neural Networks (ASTACNNs) are proposed for classification and segmentation tasks and are evaluated on action recognition and semantic segmentation tasks. The experimental results on MSRAction3D and Synthia datasets demonstrate that the higher accuracy can be achieved than the previous state-of-the-art method by our novel strategy of multi-frame fusion.

研究动机与目标

• 为解决机器人感知中动态3D点云序列深度学习方法发展不足的问题。
• 通过利用结构化的局部时空关系，改进动态3D点云中的特征学习。
• 开发一种新型卷积操作，有效融合多帧信息以实现更好的表征学习。
• 通过端到端学习，在3D点云分类和语义分割任务中实现更高准确率。

提出的方法

• 提出ASTAConv，一种新型卷积操作，通过在每个点周围使用虚拟锚点建立规则感受野。
• 采用时空注意力机制，基于相关性将邻域点特征聚合到每个锚点。
• 应用基于锚点的稀疏3D卷积，将特征从锚点传播到中心点，以保持空间结构。
• 利用结构化的局部特征，从动态3D序列中学习鲁棒的时空嵌入表示。
• 设计ASTACNNs作为基于ASTAConv构建的深度神经网络架构，用于分类和分割任务。
• 通过注意力机制实现多帧融合，以增强序列点云中的时序建模能力。

实验结果

研究问题

• RQ1 如何有效建模动态3D点云序列中的时空依赖性以提升感知性能？
• RQ2 与标准卷积操作相比，虚拟锚点是否能增强3D点云处理中的局部特征聚合？
• RQ3 将注意力机制与稀疏3D卷积结合是否能提升3D序列理解任务的性能？
• RQ4 所提出的ASTAConv操作在动作识别和语义分割任务中相较于现有方法的性能提升程度如何？

主要发现

• 在MSRAction3D数据集上，所提出的ASTACNN在动作识别任务中实现了高于先前最先进方法的准确率。
• 在Synthia数据集上，ASTACNN在语义分割任务中表现出优于先前方法的性能。
• 基于时空注意力的多帧融合策略，使动态序列中的特征表示更具判别性。
• 使用虚拟锚点能够更好地利用3D点云中的局部结构信息。
• 基于锚点的稀疏3D卷积在保持高特征保真度的同时，有效降低了计算成本。