[论文解读] Boundless: Generative Adversarial Networks for Image Extension

Piotr Teterwak, Aaron Sarna+5 more|arXiv (Cornell University)|Aug 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 34

一句话总结

本文在 Wasserstein GAN 的判别器上引入语义条件化，以生成超出图像边界的连贯图像扩展，实现大尺度外推和全景扩展，并提升语义和纹理质量。

ABSTRACT

Image extension models have broad applications in image editing, computational photography and computer graphics. While image inpainting has been extensively studied in the literature, it is challenging to directly apply the state-of-the-art inpainting methods to image extension as they tend to generate blurry or repetitive pixels with inconsistent semantics. We introduce semantic conditioning to the discriminator of a generative adversarial network (GAN), and achieve strong results on image extension with coherent semantics and visually pleasing colors and textures. We also show promising results in extreme extensions, such as panorama generation.

研究动机与目标

• 证明 GAN 能学习出边界之外的合理图像扩展。
• 在判别器中引入语义条件化以稳定训练并提高语义连贯性。
• 在不同的 context-to-extension 比例下评估扩展质量，并与修复基线进行比较。
• 展示全景风格的扩展并测试对语义漂移的鲁棒性。

提出的方法

• 使用一个对输入图像和掩码进行条件化的 Wasserstein GAN（生成器）。
• 取消在修复中使用的上下文注意力精炼，以偏好合理的扩展而非补丁复制。
• 引入判别器条件化：（一）通过覆盖输入中的已知像素实现缝隙感知的条件化；（二）通过预训练的 InceptionV3 网络的激活实现语义条件化。
• 在生成器中应用实例归一化和跳跃连接，在各层使用门控和膨胀卷积。
• 使用重建（L1）损失加对抗性铰链损失进行训练，通过一个小的 lambda（0.01）进行平衡。
• 在基于 Places365 的数据集上进行评估，扩展为 25%、50%、75%，以及 25% 的修复掩码。

实验结果

研究问题

• RQ1 GAN 基于模型是否能够在边界之外实现高语义连贯的图像扩展？
• RQ2 判别器的语义条件化是否会提高扩展质量，尤其是对于较大扩展？
• RQ3 所提方法在不同扩展规模下与修复基线及感知/特征匹配替代方案相比如何？
• RQ4 该方法是否能够实现全景风格的递归扩展而不产生语义漂移？

主要发现

掩码类型	DF FID	DF PSNR	PC FID	PC PSNR	NCnd FID	NCnd PSNR	本方法 FID	本方法 PSNR
25%	1.87	7.11	1.40	11.10	0.85	8.96	0.79	10.17
50%	11.65	6.69	11.20	6.63	5.01	7.55	3.46	8.63
75%	31.21	9.74	31.83	8.94	19.17	9.08	8.79	8.07
Inp (central square)	4.96	14.31	3.70	13.78	2.73	14.24	2.53	14.17

• 所提出的方法在扩展规模增大时，在语义连贯性上优于现有的修复基线（DeepFill、PConv）。
• 通过已知像素覆盖和 InceptionV3 激活实现的判别器语义条件化，在大扩展（75%）下表现更好。
• 消融研究表明：跳跃连接、判别器条件化、实例归一化以及更大的批量大小能提升纹理细节并减少伪影。
• 定量结果显示本方法在 75% 扩展下的 FID 和 PSNR 上优于基线，并在 25% 与 50% 扩展下保持具竞争力的 PSNR/FID。
• 全景风格的扩展是可行的；递归应用可在更广的扩展中产生合理的扩展，但远离种子区域可能出现一定程度的语义漂移。