[论文解读] Multi-Angle Point Cloud-VAE: Unsupervised Feature Learning for 3D Point Clouds from Multiple Angles by Joint Self-Reconstruction and Half-to-Half Prediction

Zhizhong Han, Xiyang Wang+2 more|arXiv (Cornell University)|Jul 30, 2019

3D Shape Modeling and Analysis参考文献 39被引用 10

一句话总结

本文提出多角度点云-变分自编码器（MAP-VAE），一种无监督深度学习模型，通过在多个视角下结合自重建与半对半预测，联合学习3D点云的全局与局部几何结构。通过从不同视角将点云划分为前后两半，并训练基于RNN的预测器从前方半部分重建后方半部分，MAP-VAE在捕捉精细局部结构的同时，利用变分自编码机制实现全局形状重建，在形状分类、补全与生成任务中达到最先进性能。

ABSTRACT

Unsupervised feature learning for point clouds has been vital for large-scale point cloud understanding. Recent deep learning based methods depend on learning global geometry from self-reconstruction. However, these methods are still suffering from ineffective learning of local geometry, which significantly limits the discriminability of learned features. To resolve this issue, we propose MAP-VAE to enable the learning of global and local geometry by jointly leveraging global and local self-supervision. To enable effective local self-supervision, we introduce multi-angle analysis for point clouds. In a multi-angle scenario, we first split a point cloud into a front half and a back half from each angle, and then, train MAP-VAE to learn to predict a back half sequence from the corresponding front half sequence. MAP-VAE performs this half-to-half prediction using RNN to simultaneously learn each local geometry and the spatial relationship among them. In addition, MAP-VAE also learns global geometry via self-reconstruction, where we employ a variational constraint to facilitate novel shape generation. The outperforming results in four shape analysis tasks show that MAP-VAE can learn more discriminative global or local features than the state-of-the-art methods.

研究动机与目标

• 解决现有无监督3D点云方法因局部自监督不足，难以有效学习局部几何结构的局限性。
• 通过引入多角度分析生成语义化、基于视角的局部监督，提升特征判别能力。
• 通过联合自重建与半对半预测，同时学习全局与局部几何结构。
• 利用学习到的解耦特征空间实现高保真度的新形状生成与点云补全。
• 提供一致的、基于视角的分割机制，以从点云中提取特定区域的几何细节。

提出的方法

• 通过从多个渐进视角渲染点云，引入多角度分析，生成用于局部监督的前后分割。
• 从每个视角将每个点云划分为前方半部分与后方半部分，形成多个成对序列用于训练。
• 训练基于RNN的解码器，从对应前方半部分序列预测后方半部分序列，实现对局部几何与空间关系的学习。
• 联合优化模型，采用变分自编码器（VAE）损失，从潜在码重建完整点云，捕捉全局结构并支持形状生成。
• 在VAE目标中引入KL散度项以正则化潜在空间，支持采样与生成新颖、逼真的形状。
• 端到端应用模型于下游任务（如分类、补全与生成），使用学习到的特征而无需在标签上进行微调。

实验结果

研究问题

• RQ1 多角度分析能否为无监督3D点云特征学习提供更有效且语义明确的局部自监督？
• RQ2 与仅依赖全局重建的方法相比，联合优化半对半预测与自重建是否能提升所学特征的判别能力？
• RQ3 所提方法能否从潜在空间生成具有详细局部几何结构的高保真新3D形状？
• RQ4 在部分输入条件下，MAP-VAE在点云补全任务中的表现是否优于当前最先进方法？
• RQ5 该模型在多大程度上学习到解耦表征，以同时捕捉局部与全局几何结构？

主要发现

• MAP-VAE在ModelNet10基准上达到86.25%的准确率，超越当前最先进方法LGAN1（77.33%）的形状分类性能。
• 在点云补全任务中，MAP-VAE在飞机类别上达到0.032328的EMD，在椅子类别上达到0.055696，优于所有对比方法，包括PCN-EMD与LGAN。
• 视觉对比显示，与LGAN和LGAN1相比，MAP-VAE生成的点云在边缘更清晰、局部几何细节更丰富，尤其在角落与肢体等部位表现更优。
• 模型通过潜在码采样可生成高保真度的新形状，100个来自同一类中心的飞机生成结果展现出一致且逼真的变化。
• 不同类别之间的形状插值产生合理、平滑的过渡，证明了所学潜在空间的解耦性与语义意义。
• 消融研究证实，多角度分析与半对半预测显著提升了局部特征学习效果，消融变体在所有基准上均表现欠佳。