[论文解读] ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

Chen-Hsuan Lin, Ersin Yumer+3 more|arXiv (Cornell University)|Mar 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 39

一句话总结

ST-GAN 提出了一种新颖的生成对抗网络架构，通过空间变换网络（STNs）学习逼真的几何形变，以实现图像合成。通过在 GAN 框架内训练一个顺序的、迭代式 STN 生成器，ST-GAN 通过对抗性优化将前景物体与背景场景对齐，从而提升合成图像的逼真度，在成对与非成对设置下均实现了最先进性能，包括通过可迁移的形变参数实现高分辨率图像编辑。

ABSTRACT

We address the problem of finding realistic geometric corrections to a foreground object such that it appears natural when composited into a background image. To achieve this, we propose a novel Generative Adversarial Network (GAN) architecture that utilizes Spatial Transformer Networks (STNs) as the generator, which we call Spatial Transformer GANs (ST-GANs). ST-GANs seek image realism by operating in the geometric warp parameter space. In particular, we exploit an iterative STN warping scheme and propose a sequential training strategy that achieves better results compared to naive training of a single generator. One of the key advantages of ST-GAN is its applicability to high-resolution images indirectly since the predicted warp parameters are transferable between reference frames. We demonstrate our approach in two applications: (1) visualizing how indoor furniture (e.g. from product images) might be perceived in a room, (2) hallucinating how accessories like glasses would look when matched with real portraits.

研究动机与目标

• 解决图像合成中的几何不一致问题，即由于视角和定位差异，前景物体无法自然地与背景场景对齐。
• 通过学习能将形变图像与自然图像流形对齐的几何校正，提升图像合成的逼真度。
• 通过将从低分辨率输入中学到的形变参数迁移至全分辨率输出，实现高分辨率图像编辑。
• 在非成对设置下展示有效性，例如在无成对训练数据的情况下将眼镜合成到人像上。
• 开发一种顺序训练策略，以提升收敛性与生成结果的逼真度，相较于单步形变方法更具优势。

提出的方法

• 将空间变换网络（STNs）作为 GAN 框架中的生成器，实现前景物体的可微分几何形变。
• 采用多阶段、顺序训练策略，多个 STN 模块通过迭代、小幅度的几何变换逐步优化合成结果。
• 使用判别器区分真实图像与 STN 生成的合成图像，通过对抗训练使生成器逐步生成更逼真的结果。
• 在训练过程中应用几何数据增强，包括随机相似变换和单应性变换，以提升模型鲁棒性。
• 利用预测形变参数的可迁移性：通过低分辨率网络推理获得的形变参数可直接应用于全分辨率图像，无需重新训练。
• 通过对抗损失优化生成器，使其生成的形变合成图像与自然图像流形和几何变换流形的交集对齐。

实验结果

研究问题

• RQ1 基于 GAN 的框架是否能通过在形变参数空间中操作，有效学习逼真的图像合成几何校正？
• RQ2 与单步生成器相比，顺序迭代式 STN 训练策略是否能提升收敛性与生成结果的逼真度？
• RQ3 ST-GAN 是否能通过将从低分辨率输入中学到的形变参数迁移至高分辨率图像，实现对高分辨率图像的有效泛化？
• RQ4 在非成对设置下，ST-GAN 在无成对图像（如同一人佩戴与不佩戴眼镜的图像）的情况下，对人脸添加眼镜的性能如何？
• RQ5 ST-GAN 在处理极端几何变换或罕见物体类别时存在哪些局限性？

主要发现

• 在合成数据集与真实世界数据集上，ST-GAN 显著提升了图像合成的逼真度，该结论通过大规模用户研究得到验证。
• 顺序训练策略相比朴素的单生成器训练方式，能实现更好的收敛性与更逼真的形变效果。
• ST-GAN 能够将家具逼真地合成到室内场景中，实现精确的定位与透视对齐，即使前景物体来自不同场景亦可实现自然融合。
• 在非成对眼镜合成任务中，ST-GAN 无需任何成对数据或面部关键点标注，即可将各类眼镜自然地对齐到人脸之上。
• 通过在全分辨率图像上应用低分辨率下预测的形变参数，ST-GAN 实现了对高分辨率图像的有效泛化，使其在真实世界图像编辑应用中具备实用性。
• ST-GAN 在处理极端平移或平面内旋转时表现不佳，且在罕见物体类别（如宽边框或白色眼镜）上性能有所下降。