[论文解读] A survey on Deep Learning Advances on Different 3D Data Representations

Eman Ahmed, Alexandre Saint+5 more|arXiv (Cornell University)|Aug 4, 2018

3D Shape Modeling and Analysis参考文献 156被引用 42

一句话总结

本综述全面分析了三维数据表示中深度学习的进展，将这些表示方法分类为欧几里得（例如体素、多视角）和非欧几里得（例如点云、网格）结构。它探讨了不同深度学习架构如何适配各类表示方法，突出显示了架构设计中的挑战与性能权衡。关键发现表明，尽管最先进模型在干净数据上表现良好，但其对噪声、拓扑变化以及真实世界数据变异性的鲁棒性仍是亟待解决的关键挑战。

ABSTRACT

3D data is a valuable asset the computer vision filed as it provides rich information about the full geometry of sensed objects and scenes. Recently, with the availability of both large 3D datasets and computational power, it is today possible to consider applying deep learning to learn specific tasks on 3D data such as segmentation, recognition and correspondence. Depending on the considered 3D data representation, different challenges may be foreseen in using existent deep learning architectures. In this work, we provide a comprehensive overview about various 3D data representations highlighting the difference between Euclidean and non-Euclidean ones. We also discuss how Deep Learning methods are applied on each representation, analyzing the challenges to overcome.

研究动机与目标

• 提供对应用于各种三维数据表示的深度学习技术的全面综述，区分欧几里得与非欧几里得结构。
• 分析三维数据表示结构与深度学习架构设计之间的关系。
• 评估深度学习模型在不同三维表示上的性能与局限性，尤其在噪声和拓扑变化等真实世界条件下的表现。
• 识别将三维深度学习模型泛化至干净、理想化数据集之外的挑战。
• 突出新兴研究方向，并强调对真实世界三维数据更具鲁棒性和泛化能力的模型的迫切需求。

提出的方法

• 论文根据底层几何与拓扑特性，将三维数据表示分类为欧几里得（基于网格，如体素、RGB-D、多视角）和非欧几里得（点云、网格、图）结构。
• 综述了针对每一类设计的深度学习架构，包括用于体素数据的3D卷积神经网络、用于点云的PointNet和PointNet++，以及用于网格的图神经网络模型如SplineCNN。
• 研究分析了每种架构如何通过相应调整卷积或学习操作来应对结构性差异，例如非欧几里得数据缺乏全局参数化的问题。
• 利用FAUST和3DBodyTex等基准数据集评估模型性能，测试其在合成噪声和拓扑变化下的鲁棒性。
• 通过对应误差和分类准确率等指标，比较不同任务（如三维识别与对应）中模型的性能表现。
• 讨论了近期进展，如用于分层点云学习的蒙特卡洛卷积，以及使用基于MLP的核函数处理非均匀采样。

实验结果

研究问题

• RQ1 欧几里得与非欧几里得三维数据表示之间的结构性差异如何影响深度学习模型的设计与性能？
• RQ2 将二维深度学习范式适配至三维数据，特别是非欧几里得表示时，面临哪些关键挑战？
• RQ3 SplineCNN等最先进模型在包含噪声、拓扑变化和不规则采样的真实世界三维数据上的表现如何？
• RQ4 在三维形状识别和点对应等任务中，哪种三维数据表示与深度学习架构能实现最佳性能？
• RQ5 三维深度学习模型在泛化至真实世界数据时的主要局限是什么？哪些研究方向可提升其鲁棒性？

主要发现

• 多视角表示在三维形状分类任务中达到最先进性能，通过更高效地利用完整几何信息，优于体素化方法。
• SplineCNN在使用干净、平滑且理想化的数据（如FAUST数据集）时，于对应任务上实现了近乎完美的性能。
• SplineCNN模型在真实世界数据（包括3DBodyTex数据集）上无法泛化，这是由于拓扑差异和非均匀连接模式导致，对应结果出现严重错误。
• 即使拓扑和姿态完全相同，SplineCNN模型对合成噪声的鲁棒性仍较差，对应误差在高噪声水平下显著增加。
• 采用泊松盘采样的蒙特卡洛卷积在非均匀采样下表现出更强鲁棒性，在不同采样密度下的分层点云学习中优于PointNet++。
• 本研究确认，模型对噪声、采样可变性及拓扑变化的鲁棒性是主要开放挑战，尤其在非欧几里得表示中更为突出。