[论文解读] 3D Vision with Transformers: A Survey

Jean Lahoud, Jiale Cao+5 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Neural Network Applications被引用 9

一句话总结

本综述全面回顾了超过100种基于Transformer的3D视觉方法，涵盖分类、分割、检测、补全和姿态估计等任务。它分析了针对不同3D表示（点云、体素、RGB-D）定制的Transformer架构，展示了其在捕捉长距离依赖关系方面的优势，并在12项基准测试中实现了最先进性能，同时指出了在设计、采样、位置编码和预训练方面存在的开放性挑战。

ABSTRACT

The success of the transformer architecture in natural language processing has recently triggered attention in the computer vision field. The transformer has been used as a replacement for the widely used convolution operators, due to its ability to learn long-range dependencies. This replacement was proven to be successful in numerous tasks, in which several state-of-the-art methods rely on transformers for better learning. In computer vision, the 3D field has also witnessed an increase in employing the transformer for 3D convolution neural networks and multi-layer perceptron networks. Although a number of surveys have focused on transformers in vision in general, 3D vision requires special attention due to the difference in data representation and processing when compared to 2D vision. In this work, we present a systematic and thorough review of more than 100 transformers methods for different 3D vision tasks, including classification, segmentation, detection, completion, pose estimation, and others. We discuss transformer design in 3D vision, which allows it to process data with various 3D representations. For each application, we highlight key properties and contributions of proposed transformer-based methods. To assess the competitiveness of these methods, we compare their performance to common non-transformer methods on 12 3D benchmarks. We conclude the survey by discussing different open directions and challenges for transformers in 3D vision. In addition to the presented papers, we aim to frequently update the latest relevant papers along with their corresponding implementations at: https://github.com/lahoud/3d-vision-transformers.

研究动机与目标

• 系统且全面地回顾超过100种基于Transformer的3D视觉任务方法，包括分类、分割、检测、补全和姿态估计。
• 分析使Transformer能够有效处理多样化3D数据表示（如点云、体素和RGB-D输入）的设计选择。
• 在12个广泛使用的3D视觉基准上，将基于Transformer的方法与非Transformer基线方法进行性能比较，以评估其竞争力。
• 识别并讨论3D视觉Transformer中的开放性挑战，包括输入采样策略、位置编码、数据增强和预训练。
• 在 https://github.com/lahoud/3d-vision-transformers 保持一个动态更新的相关论文与实现仓库。

提出的方法

• 本综述对100余种基于Transformer的3D视觉方法进行了系统性文献回顾，按任务和3D输入表示（点云、体素、RGB-D）进行分类。
• 分析了面向3D数据的Transformer架构设计选择，重点关注适配3D空间结构和不同输入尺寸的自注意力机制。
• 使用MPJPE、PCK、AUC和mIoU等指标，在12个标准3D基准上评估方法性能，将基于Transformer的模型与非Transformer模型进行对比。
• 讨论了3D空间中位置嵌入的作用，强调其在形状理解与3D空间平移不变性中的重要性。
• 考察了数据采样策略，主张采用数据驱动的灵活采样方法以保留结构和语义信息。
• 评估了3D专用数据增强和预训练技术的使用，指出当前3D Transformer方法中这些技术的利用仍显不足。

实验结果

研究问题

• RQ1 与传统CNN和MLP相比，基于Transformer的架构在3D视觉任务中如何提升性能？
• RQ2 哪些关键设计原则使Transformer能够有效处理点云和体素等多样化3D数据表示？
• RQ3 位置嵌入和注意力机制在3D空间学习中发挥什么作用？当前方法存在哪些局限性？
• RQ4 为Transformer采样3D输入的主要挑战是什么？数据驱动策略如何改善特征学习？
• RQ5 预训练和3D专用数据增强在多大程度上能提升3D视觉Transformer的性能？

主要发现

• 基于Transformer的方法在12项3D基准上持续优于非Transformer基线方法，尤其在需要建模长距离依赖的任务中表现突出。
• MixSTE在Human3.6M数据集上分别以42.4和33.9的平均MPJPE达到最佳表现，分别对应Protocol 1和Protocol 2，归因于其双时空Transformer设计。
• P-STMO在MPI-INF-3DHP数据集上实现了最高的PCK（97.9）和AUC（75.8），证明了自监督预训练在3D姿态估计中的有效性。
• 大多数基于Transformer的3D方法依赖于固定尺寸的输入采样，这可能导致细粒度结构信息丢失，并依赖于场景大小。
• 与2D视觉中ImageNet风格的预训练显著提升性能不同，3D视觉Transformer目前缺乏大规模预训练。
• 本综述指出，亟需一种通用的3D Transformer主干网络，以在局部细节与全局上下文学习之间取得平衡，具备灵活的数据驱动采样和稳健的位置编码。