[论文解读] Deep Learning Advances on Different 3D Data Representations: A Survey.

Eman Ahmed, Alexandre Saint+6 more|arXiv (Cornell University)|Aug 4, 2018

3D Shape Modeling and Analysis参考文献 83被引用 56

一句话总结

本综述对深度学习在各种3D数据表示中的应用进行了全面分析，区分了欧几里得与非欧几里得格式。它研究了深度学习架构如何适配每种表示形式，识别关键挑战，并评估分割、识别和对应等任务中的性能权衡。

ABSTRACT

3D data is a valuable asset the computer vision filed as it provides rich information about the full geometry of sensed objects and scenes. Recently, with the availability of both large 3D datasets and computational power, it is today possible to consider applying deep learning to learn specific tasks on 3D data such as segmentation, recognition and correspondence. Depending on the considered 3D data representation, different challenges may be foreseen in using existent deep learning architectures. In this work, we provide a comprehensive overview about various 3D data representations highlighting the difference between Euclidean and non-Euclidean ones. We also discuss how Deep Learning methods are applied on each representation, analyzing the challenges to overcome.

研究动机与目标

• 系统性地回顾并比较计算机视觉中使用的不同3D数据表示形式。
• 识别在将深度学习应用于欧几里得与非欧几里得3D数据结构时出现的挑战。
• 分析现有深度学习模型如何适配各种3D表示形式以完成分割、识别和对应等任务。
• 突出不同3D数据格式下深度学习方法在性能差异和局限性方面的表现。

提出的方法

• 将3D数据表示分类为欧几里得（如体素网格、点云）和非欧几里得（如网格、图）格式。
• 调查为每种3D表示类型量身定制的现有深度学习架构。
• 分析处理3D数据中几何与拓扑差异所需的架构适配。
• 评估卷积、池化和注意力机制在不同3D数据格式中的有效性。
• 比较不同表示形式在训练效率、归纳偏置和泛化性能方面的表现。
• 识别当前方法在数据稀疏性、不规则性和结构复杂性方面的不足之处。

实验结果

研究问题

• RQ1 欧几里得与非欧几里得3D数据表示在深度学习适用性方面有何差异？
• RQ2 将深度学习模型适配到不规则或稀疏3D数据结构时面临哪些关键挑战？
• RQ3 不同3D表示如何影响深度学习模型在分割、识别和对应任务中的性能？
• RQ4 为有效处理非欧几里得3D数据（如网格或点云）需要哪些架构修改？
• RQ5 在3D数据格式之间，表示保真度、计算成本与模型泛化能力之间存在哪些权衡？

主要发现

• 由于其规则网格结构，深度学习模型在结构化3D表示（如体素网格）上表现出色。
• 点云和网格需要专用架构来处理稀疏性和不规则拓扑，导致复杂度增加。
• 如网格等非欧几里得表示通常比体素网格更好地保持几何保真度，但对标准卷积操作构成挑战。
• 基于图和基于点的网络在处理3D数据中的噪声和采样密度变化方面表现出更强的鲁棒性。
• 表示形式的选择显著影响模型效率、归纳偏置和在不同3D视觉任务中的泛化能力。
• 尽管已取得进展，但在处理遮挡和尺度变化等问题时，不同3D数据格式之间仍难以实现一致的性能表现。