[论文解读] Deep Convolutional Inverse Graphics Network

Tejas D. Kulkarni, WILLIAM F. WHITNEY+2 more|arXiv (Cornell University)|Mar 11, 2015

Advanced Vision and Imaging参考文献 23被引用 751

一句话总结

本文提出深度卷积逆图形网络（DC-IGN），一种通过随机梯度变分贝叶斯训练的变分自编码器，结合深层卷积与转置卷积层，从单张图像中学习解耦且可解释的图形编码。该模型通过操纵控制姿态和光照的特定潜在变量，成功重建了人脸和椅子的新视角，展示了在极少监督下对未见物体和视角的泛化能力。

ABSTRACT

This paper presents the Deep Convolution Inverse Graphics Network (DC-IGN), a model that learns an interpretable representation of images. This representation is disentangled with respect to transformations such as out-of-plane rotations and lighting variations. The DC-IGN model is composed of multiple layers of convolution and de-convolution operators and is trained using the Stochastic Gradient Variational Bayes (SGVB) algorithm. We propose a training procedure to encourage neurons in the graphics code layer to represent a specific transformation (e.g. pose or light). Given a single input image, our model can generate new images of the same object with variations in pose and lighting. We present qualitative and quantitative results of the model's efficacy at learning a 3D rendering engine.

研究动机与目标

• 学习图像中可解释且解耦的表示，将姿态、光照和形状等因子分离。
• 训练一个深度生成模型，通过操纵特定潜在变量实现图像重建与新视角合成。
• 通过学习的 3D 渲染引擎，仅从单张输入图像实现零样本新视角生成。
• 开发一种训练过程，促使图形编码中的神经元表示特定且有意义的变换，而无需显式监督。
• 证明解耦对于准确泛化到未见物体配置与视角至关重要。

提出的方法

• 该模型采用带有卷积与转置卷积层的深度编码器-解码器架构，作为使用随机梯度变分贝叶斯（SGVB）进行端到端训练的变分自编码器。
• 编码器将输入图像映射到潜在变量的后验近似分布，解码器则通过转置卷积与上采样从这些潜在变量重建图像。
• 关键训练程序在每个小批量中仅激活部分变换（例如方位旋转），强制特定神经元仅表示这些激活的变换。
• 目标函数结合重建损失与后验分布和先验分布之间的 KL 散度，通过重参数化实现对随机样本的反向传播。
• 潜在变量被分组以表示不同因子：例如一个节点表示方位角，其他节点表示形状、纹理和光照。
• 推理过程中，编码器从单张图像推断潜在变量，解码器通过修改特定潜在变量组生成新图像。

实验结果

研究问题

• RQ1 深度生成模型能否在无显式监督下，从未见静态图像中学习解耦且可解释的图形编码？
• RQ2 此类模型能否泛化到训练期间未见的新视角与物体配置？
• RQ3 通过选择性激活变换来强制解耦，是否能提升重建与生成质量？
• RQ4 模型能否仅通过操纵部分学习到的潜在变量，合成逼真的新视角？
• RQ5 当每类物体仅用一张图像进行训练时，模型在复杂 3D 物体（如椅子）上的表现如何？

主要发现

• 在 3D 椅子数据集上，DC-IGN 的测试集均方误差（MSE）达到 2.7722×10⁻⁴，表明图像重建具有高保真度。
• 在人脸数据集上，模型仅通过操纵与方位角相关的潜在变量即成功生成新视角，展示了等变性与解耦性。
• 显式解耦对准确的新视角重建至关重要，与非解耦基线的定性比较已证实这一点。
• 该模型可泛化到此前未见过的椅子，即使物体完整几何结构不可见，也能生成合理的中间姿态。
• 对于部分椅子，模型在不同角度间生成了平滑过渡；而对于其他椅子，仅生成关键帧式的输出，表明其在复杂或模糊形状上的泛化能力存在局限。
• 模型能够从单视角推断隐藏部分（如椅子的扶手），展示了其进行 3D 推理与合理外推的能力。