[论文解读] Cerberus: A Multi-headed Derenderer

Boyang Deng, Simon Kornblith+1 more|arXiv (Cornell University)|May 28, 2019

Human Pose and Action Recognition参考文献 44被引用 6

一句话总结

Cerberus 提出了一种多头去渲染器，通过在视角和姿态变化下强制保持几何不变性，从单张图像中无部件标注地学习重建3D关节物体。它使用可微分3D渲染器和一种新颖的训练策略，发现语义上有意义且可迁移的部件，在人类和动物数据集上均优于先前方法，对新姿态具有极高的零样本泛化能力。

ABSTRACT

To generalize to novel visual scenes with new viewpoints and new object poses, a visual system needs representations of the shapes of the parts of an object that are invariant to changes in viewpoint or pose. 3D graphics representations disentangle visual factors such as viewpoints and lighting from object structure in a natural way. It is possible to learn to invert the process that converts 3D graphics representations into 2D images, provided the 3D graphics representations are available as labels. When only the unlabeled images are available, however, learning to derender is much harder. We consider a simple model which is just a set of free floating parts. Each part has its own relation to the camera and its own triangular mesh which can be deformed to model the shape of the part. At test time, a neural network looks at a single image and extracts the shapes of the parts and their relations to the camera. Each part can be viewed as one head of a multi-headed derenderer. During training, the extracted parts are used as input to a differentiable 3D renderer and the reconstruction error is backpropagated to train the neural net. We make the learning task easier by encouraging the deformations of the part meshes to be invariant to changes in viewpoint and invariant to the changes in the relative positions of the parts that occur when the pose of an articulated body changes. Cerberus, our multi-headed derenderer, outperforms previous methods for extracting 3D parts from single images without part annotations, and it does quite well at extracting natural parts of human figures.

研究动机与目标

• 从单张图像中无部件级别监督地学习关节体的3D部件化表征。
• 通过解耦形状、姿态和视角因素，提升对新视角、光照和姿态的泛化能力。
• 通过自监督的一致性约束发现语义上有意义的部件（例如头部、四肢）。
• 实现同一主体不同姿态间部件模型的零样本迁移。
• 开发一种可扩展的、可微分的框架，利用自然几何不变性实现无监督3D感知。

提出的方法

• Cerberus 使用神经网络预测 N 个自由浮动的3D部件，每个部件具有独立的三角网格和相对于相机的位姿（旋转与平移）。
• 每个部件通过学习到的形状参数进行形变，完整3D模型通过可微分3D渲染器进行渲染，以计算像素空间的重建损失。
• 模型采用一种新颖的一致性约束进行训练：部件形变必须在姿态变化和视角变化下保持不变。
• 通过可微分渲染器反向传播重建误差，实现端到端的网络训练。
• 关键创新在于使用身份条件重建：将来自标准姿态的部件应用于同一主体的其他姿态，以测试其可迁移性。
• 网络架构采用类似U-Net的编码器-解码器结构，结合全局平均池化以获得物体级潜在表征，并使用四元数进行位姿预测。

实验结果

研究问题

• RQ1 神经网络能否在无任何部件标注的情况下，从单张图像中学习提取语义上有意义的3D部件？
• RQ2 在视角和姿态变化下的几何不变性能否作为部件发现的强自监督信号？
• RQ3 在不同姿态下强制保持部件形状的一致性，是否能提升对新姿态的泛化能力？
• RQ4 多头去渲染器是否能在3D重建和部件分割上超越单网格重建模型？
• RQ5 从一张图像中提取的单一部件集合，能在多大程度上被迁移用于重建同一主体的其他姿态？

主要发现

• Cerberus 在人类和动物数据集上的3D重建与部件分割任务中，即使无部件标注，也全面超越所有基线方法。
• 在具有挑战性的“Hard Human”基准测试中——即从一个标准姿态提取的部件被迁移到其他姿态——Cerberus 保持了高性能，体素IoU显著高于所有基线方法。
• 消融实验表明，若移除姿态一致性约束，Hard Human 基准测试中的性能大幅下降，证实其在学习可迁移部件中的关键作用。
• 无姿态一致性约束的 Free Cerberus 虽在标准评估中准确率更高，但无法在不同姿态间泛化，常将双腿合并为单一部件；而 Cerberus 正确地将四肢分割为独立部件。
• Cerberus 在多种动物间成功学习到一致且形状合适的部件：例如，头部部件能从鹿的尖嘴（pointed snout）自然适应为河马的圆润鼻部（round snout），同时保持语义一致性。
• 该方法对新视角、光照条件和姿态具有良好的泛化能力，通过从重建的3D模型渲染新图像得到验证。