[论文解读] Learning Viewpoint-Agnostic Visual Representations by Recovering Tokens in 3D Space

Jinghuan Shang, Srijan Das+1 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出3D标记表示层（3DTRL），一种即插即用模块，通过无监督伪深度和可学习相机矩阵估计3D位置嵌入，增强视觉Transformer，实现视角无关的表示。3DTRL在图像分类、多视角视频对齐和动作识别任务中均提升性能，计算开销极低（FLOPs增加2%，参数量增加4%）。

ABSTRACT

Humans are remarkably flexible in understanding viewpoint changes due to visual cortex supporting the perception of 3D structure. In contrast, most of the computer vision models that learn visual representation from a pool of 2D images often fail to generalize over novel camera viewpoints. Recently, the vision architectures have shifted towards convolution-free architectures, visual Transformers, which operate on tokens derived from image patches. However, these Transformers do not perform explicit operations to learn viewpoint-agnostic representation for visual understanding. To this end, we propose a 3D Token Representation Layer (3DTRL) that estimates the 3D positional information of the visual tokens and leverages it for learning viewpoint-agnostic representations. The key elements of 3DTRL include a pseudo-depth estimator and a learned camera matrix to impose geometric transformations on the tokens, trained in an unsupervised fashion. These enable 3DTRL to recover the 3D positional information of the tokens from 2D patches. In practice, 3DTRL is easily plugged-in into a Transformer. Our experiments demonstrate the effectiveness of 3DTRL in many vision tasks including image classification, multi-view video alignment, and action recognition. The models with 3DTRL outperform their backbone Transformers in all the tasks with minimal added computation. Our code is available at https://github.com/elicassion/3DTRL.

研究动机与目标

• 解决视觉Transformer因依赖2D位置嵌入而在新视角下泛化能力受限的问题。
• 提出一种方法，在无需3D监督或昂贵3D标注的情况下，学习视角无关的视觉表示。
• 通过自监督学习恢复3D标记位置，使视觉模型能够从2D图像中隐式理解3D场景结构。
• 设计一种轻量化、可微分的模块，可无缝集成到现有Transformer架构中，适用于图像与视频理解。
• 在多种视觉任务中验证3DTRL的有效性，包括图像分类、多视角视频对齐和动作识别。

提出的方法

• 提出一种位于Transformer块之间的3D标记表示层（3DTRL），保持输入/输出标记维度不变。
• 利用伪深度估计器为每个图像块标记预测深度，将2D标记转换为相机坐标系中的3D坐标。
• 通过可学习网络估计相机矩阵（内参与外参），将相机坐标系中的3D坐标转换为世界绝对3D位置。
• 利用估计的相机矩阵和深度信息，对2D图像块进行几何变换，恢复其在3D世界中的坐标。
• 将恢复得到的3D位置嵌入作为额外的位置编码，集成到Transformer的注意力机制中。
• 在无监督设置下进行端到端训练，使用3D标记位置的重建损失，无需真实3D数据监督。

实验结果

研究问题

• RQ1 能否在无3D监督的情况下，从2D图像块中有效恢复3D几何信息，以提升视角泛化能力？
• RQ2 如何学习并集成3D位置嵌入到视觉Transformer中，以增强其对视角变化的鲁棒性？
• RQ3 通过3DTRL引入3D结构后，对图像与视频理解任务的性能提升程度如何？
• RQ4 3DTRL能否在TimeSformer等视频模型中有效应用，同时保持高效性与性能？
• RQ5 在大规模2D视频数据（如Kinetics-400）上进行预训练，是否能进一步提升3DTRL在下游任务中的泛化能力？

主要发现

• 3DTRL在ImageNet-1K图像分类任务中提升准确率，ResNet-50与ViT-base模型的Top-1准确率均优于其基线模型。
• 在多视角视频对齐任务中，3DTRL在五个基准数据集上均优于基线ViT与TimeSformer模型，尤其在UCF101-24与HMDB51数据集上取得显著提升。
• 在跨视角动作识别任务中，3DTRL在Smarthome与NTU60数据集上均达到SOTA性能，较基线TimeSformer模型最高提升4.5%。
• 该模块仅为主干网络增加2%的FLOPs与4%的参数量，展现出极高的效率与可扩展性。
• 在Kinetics-400上预训练3DTRL能显著提升下游动作识别任务的性能，尤其在标注数据有限时优势更明显。
• 消融实验证实，伪深度估计器与相机矩阵估计均对3D表示恢复与视角不变性至关重要。