[论文解读] Cross-Domain 3D Equivariant Image Embeddings

Carlos Esteves, Avneesh Sud+3 more|arXiv (Cornell University)|Dec 6, 2018

3D Shape Modeling and Analysis被引用 8

一句话总结

本文提出一种跨域神经网络，通过使用预训练的球面卷积神经网络作为监督信号，将2D图像映射到3D旋转等变的球面特征嵌入空间。通过学习将图像嵌入到旋转等变的潜在空间，该模型实现了零样本应用，如相对位姿估计和新视角合成，且无需针对特定任务进行微调，在不同物体类别上的3D位姿估计和鲁棒新视角合成任务中均达到最先进性能。

ABSTRACT

Spherical convolutional networks have been introduced recently as tools to learn powerful feature representations of 3D shapes. Spherical CNNs are equivariant to 3D rotations making them ideally suited to applications where 3D data may be observed in arbitrary orientations. In this paper we learn 2D image embeddings with a similar equivariant structure: embedding the image of a 3D object should commute with rotations of the object. We introduce a cross-domain embedding from 2D images into a spherical CNN latent space. This embedding encodes images with 3D shape properties and is equivariant to 3D rotations of the observed object. The model is supervised only by target embeddings obtained from a spherical CNN pretrained for 3D shape classification. We show that learning a rich embedding for images with appropriate geometric structure is sufficient for tackling varied applications, such as relative pose estimation and novel view synthesis, without requiring additional task-specific supervision.

研究动机与目标

• 学习对3D物体旋转等变的2D图像嵌入，尽管存在从3D到2D的非线性投影。
• 在无需额外任务特定监督的情况下，支持下游任务如相对位姿估计与新视角合成。
• 利用预训练球面卷积神经网络的3D旋转等变特征作为监督信号，以学习图像嵌入。
• 证明单一、具有几何感知能力的嵌入空间可支持多种多样的视觉任务。

提出的方法

• 训练一个跨域编码器-解码器网络，将2D图像映射到预训练球面卷积神经网络的潜在特征空间。
• 利用球面卷积神经网络的基于类别的3D形状特征作为图像嵌入的监督信号，确保几何一致性。
• 通过确保世界中3D物体的旋转在球面卷积下对应于球面嵌入的旋转，来强制实现等变性。
• 通过计算两个嵌入之间的球面互相关来执行相对位姿估计，以恢复相对旋转。
• 通过将目标3D旋转应用于球面嵌入并将其解码回像素空间，来生成新视角。
• 仅使用光度损失训练解码器，无需配对的旋转图像数据。

实验结果

研究问题

• RQ1 我们能否在存在复杂相机投影的情况下，学习对3D物体旋转等变的2D图像嵌入？
• RQ2 单一跨域嵌入空间是否能支持多种下游任务（如位姿估计与视角合成），而无需针对特定任务进行微调？
• RQ3 该模型在完整3D旋转下的泛化能力如何，尤其是在对称或具有挑战性的物体类别中？
• RQ4 球面嵌入之间的互相关是否可替代端到端回归方法用于相对位姿估计？

主要发现

• 该模型在3D相对位姿估计任务中达到最先进性能，尤其在全3DOF旋转设置下表现优异，此前方法因数据稀疏性而表现不佳。
• 通过球面互相关实现的相对位姿估计优于基于回归的基线方法（如KeypointNet），尤其在具有挑战性的3DOF设置下。
• 该方法能通过旋转球面嵌入，仅从单张输入图像成功合成新视角，即使在外观变化较小的物体上也能生成高质量结果。
• 通过使用对称感知误差度量（min(err, π - err)），模型在不同物体类别间实现良好泛化，包括对称实例（如飞机）。
• 球面嵌入捕获了足够的3D几何与外观信息，可在无需额外监督的情况下支持多样化应用。