[论文解读] L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention

Xinhai Liu, Zhizhong Han+3 more|arXiv (Cornell University)|Aug 2, 2019

3D Shape Modeling and Analysis参考文献 48被引用 8

一句话总结

L2G 自动编码器通过在编码器中采用分层自注意力机制并结合基于 RNN 的解码器，提出了一种新颖的点云理解局部到全局重建框架，联合学习局部与全局结构。该方法通过多尺度局部特征和注意力驱动的特征抽象，在形状分类、检索和无监督点云上采样任务中实现了最先进性能。

ABSTRACT

Auto-encoder is an important architecture to understand point clouds in an encoding and decoding procedure of self reconstruction. Current auto-encoder mainly focuses on the learning of global structure by global shape reconstruction, while ignoring the learning of local structures. To resolve this issue, we propose Local-to-Global auto-encoder (L2G-AE) to simultaneously learn the local and global structure of point clouds by local to global reconstruction. Specifically, L2G-AE employs an encoder to encode the geometry information of multiple scales in a local region at the same time. In addition, we introduce a novel hierarchical self-attention mechanism to highlight the important points, scales and regions at different levels in the information aggregation of the encoder. Simultaneously, L2G-AE employs a recurrent neural network (RNN) as decoder to reconstruct a sequence of scales in a local region, based on which the global point cloud is incrementally reconstructed. Our outperforming results in shape classification, retrieval and upsampling show that L2G-AE can understand point clouds better than state-of-the-art methods.

研究动机与目标

• 为解决现有自动编码器在学习点云局部结构方面的局限性，而局部结构对于判别性表征至关重要。
• 通过统一的自动编码框架，实现点云中局部与全局几何结构的联合学习。
• 提出一种分层自注意力机制，以在多个层级上突出重要点、尺度和区域。
• 设计一种基于 RNN 的解码器，实现局部区域内多尺度的逐步全局重建。
• 通过利用局部重建实现无监督点云上采样，生成密集点云。

提出的方法

• 编码器采用分层架构，在点、尺度和区域层级上提取特征，并引入一种新颖的分层自注意力机制，以强调每一层级内的显著特征。
• 以采样得到的中心点为中心定义局部区域，并从每个区域提取多尺度特征，以捕捉不同分辨率下的局部几何结构。
• 通过自注意力机制聚合分层表示中的全局特征，以建模同一层级上特征之间的相关性。
• 解码器采用 RNN 按顺序重建点云的多个尺度，从局部区域开始，逐步构建全局形状。
• 在解码过程中使用插值层上采样特征，实现对密集局部区域的分层重建。
• 模型通过端到端训练，同时使用局部重建损失（用于局部结构）和全局重建损失（用于形状保真度）进行优化。

实验结果

研究问题

• RQ1 深度自动编码器是否能比现有方法更有效地联合学习点云中的局部与全局结构？
• RQ2 分层自注意力机制如何通过突出关键点、尺度和区域来提升特征抽象能力？
• RQ3 基于 RNN 的解码器是否能有效建模多尺度局部重建的序列特性，以实现全局形状生成？
• RQ4 局部到全局重建在点云分类、检索和上采样任务中的性能提升程度如何？
• RQ5 是否能通过无监督的局部重建实现有效的无监督上采样，而无需真实标签监督？

主要发现

• L2G-AE 在形状分类和检索任务中表现优异，在 ModelNet10 和 ModelNet40 基准测试中超越了最先进方法。
• 该模型在无监督点云上采样任务中展现出强大的泛化能力，能够从稀疏输入（625 个点）通过局部重建结果下采样生成密集点云。
• 定量结果表明，L2G-AE 在 ModelNet10 上的上采样任务中实现了 0.0028 的平均切比雪夫距离（mCD），尽管训练过程中无真实标签监督，但性能与 PU-Net 和 EC-Net 等有监督方法相当。
• 注意力图可视化结果表明，模型聚焦于显著的局部区域，如边缘、角落和突出部分，证实了注意力学习的有效性。
• 尺度层级注意力机制显示对第四尺度的关注度更高，该尺度包含更丰富的局部结构信息，验证了模型对信息量丰富尺度的优先选择能力。
• 点层级注意力可视化显示，网络能够有选择地关注每个局部区域内的关键点，从而实现对局部模式的精确捕捉。