[论文解读] Adversarial Inversion: Inverse Graphics with Adversarial Priors

Hsiao-Yu Fish Tung, Adam W. Harley+2 more|arXiv (Cornell University)|May 31, 2017

Face recognition and analysis参考文献 2被引用 10

一句话总结

本文提出对抗性逆向图形网络（AIGNs），一种弱监督框架，通过结合可微渲染与对抗性分布匹配，从无配对或有偏见的数据中学习逆向图形。通过将预测结果与输入观测值和已知先验对齐，AIGNs 在 3D 人体姿态与结构估计任务中表现优于完全监督模型，并实现了基于学习到的偏见的可控人脸图像操作。

ABSTRACT

Researchers have developed excellent feed-forward models that learn to map images to desired outputs, such as to the images' latent factors, or to other images, using supervised learning. Learning such mappings from unlabelled data, or improving upon supervised models by exploiting unlabelled data, remains elusive. We argue that there are two important parts to learning without annotations: (i) matching the predictions to the input observations, and (ii) matching the predictions to known priors. We propose Adversarial Inverse Graphics networks (AIGNs): weakly supervised neural network models that combine feedback from rendering their predictions, with distribution matching between their predictions and a collection of ground-truth factors. We apply AIGNs to 3D human pose estimation and 3D structure and egomotion estimation, and outperform models supervised by only paired annotations. We further apply AIGNs to facial image transformation using super-resolution and inpainting renderers, while deliberately adding biases in the ground-truth datasets. Our model seamlessly incorporates such biases, rendering input faces towards young, old, feminine, masculine or Tom Cruise-like equivalents (depending on the chosen bias), or adding lip and nose augmentations while inpainting concealed lips and noses.

研究动机与目标

• 为解决缺乏配对标注数据时学习逆向图形的挑战，利用无标签数据进行学习。
• 通过引入先验信息与重建反馈，利用无标签数据改进监督模型。
• 通过在推理过程中嵌入偏见，实现可控的图像生成与操作。
• 开发一种弱监督框架，结合渲染反馈与分布匹配，以约束预测结果。

提出的方法

• AIGNs 使用生成器网络从输入图像中预测潜在因子，并将这些因子重新渲染回图像空间。
• 通过最小化渲染输出与输入图像之间的重建损失，确保结果的一致性。
• 对抗性判别器确保预测因子与来自无标签数据集合的真实因子分布相匹配。
• 训练目标结合像素级重建损失与对抗性损失，使预测结果同时与观测结果和先验分布对齐。
• 通过在生成器中条件化特定属性（如年龄、性别、面部特征）的先验分布，支持解耦推理。
• 通过在推理过程中向先验分布注入偏见，实现可控的图像转换，例如使人脸看起来更年轻或更具男性特征。

实验结果

研究问题

• RQ1 能否通过结合重建与分布匹配，从无配对或弱标注数据中学习逆向图形？
• RQ2 与监督基线相比，引入对抗性先验如何提升 3D 人体姿态与结构估计的泛化能力？
• RQ3 AIGNs 是否能有效学习并应用训练数据中的偏见，以实现对人脸图像操作的可控生成？
• RQ4 AIGNs 在无需成对监督的情况下，能在多大程度上泛化到多样化的逆向图形任务中？
• RQ5 可微渲染与对抗性训练的结合如何增强解耦表征学习？

主要发现

• 即使在无配对数据上进行训练，AIGNs 在 3D 人体姿态估计与 3D 结构/自身运动估计任务中仍优于完全监督模型。
• 该模型成功地从训练数据中学习并应用了偏见，实现了可控的人脸图像转换，如年龄变化、性别转换或生成类似汤姆·克鲁斯风格的人脸。
• 通过将预测因子的分布与真实先验分布对齐，AIGNs 在未见数据上实现了更好的泛化性与鲁棒性。
• 该框架支持高质量的超分辨率与图像修复，并可控制属性增强，例如在遮挡区域添加嘴唇或鼻子。
• 与仅依赖像素级损失的模型相比，使用对抗性先验显著提升了重建保真度与特征解耦性。
• AIGNs 表明，通过先验信息与渲染反馈实现的弱监督，可在逆向图形任务中达到与强监督相当的性能。