[论文解读] City-GAN: Learning architectural styles using a custom Conditional GAN architecture

Maximilian Bachl, Daniel C. Ferreira|arXiv (Cornell University)|Jul 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 13

一句话总结

本文提出City-GAN，一种专为维也纳、巴黎、阿姆斯特丹和曼哈顿等城市定制的条件生成对抗网络（Conditional GAN）架构，能够学习并生成具有高度真实感的特定城市建筑立面。通过引入城市特异性标签和改进的生成器-判别器结构，该模型在生成质量与风格准确性方面优于标准GAN和CGAN，并支持城市间风格的平滑插值。

ABSTRACT

Generative Adversarial Networks (GANs) are a well-known technique that is trained on samples (e.g. pictures of fruits) and which after training is able to generate realistic new samples. Conditional GANs (CGANs) additionally provide label information for subclasses (e.g. apple, orange, pear) which enables the GAN to learn more easily and increase the quality of its output samples. We use GANs to learn architectural features of major cities and to generate images of buildings which do not exist. We show that currently available GAN and CGAN architectures are unsuited for this task and propose a custom architecture and demonstrate that our architecture has superior performance for this task and verify its capabilities with extensive experiments.

研究动机与目标

• 开发一种能够学习并生成特定城市独有真实建筑风格的GAN架构。
• 解决标准GAN和CGAN在建模具有多样化建筑特征的复杂城市立面数据时的局限性。
• 通过连续标签空间实现受控生成与城市间风格的插值。
• 创建并发布经过筛选的城市立面数据集，以支持可复现的研究。
• 提供开源代码与数据，支持社区对方法的复现与扩展。

提出的方法

• 设计了一种定制的条件生成对抗网络（CGAN）架构，通过改进的生成器与判别器更好地建模城市间的建筑风格差异。
• 将城市标签作为独热向量嵌入，并与噪声向量在生成器中拼接；判别器则同时利用图像特征与标签信息进行真实/虚假分类。
• 数据增强技术包括水平翻转（50%概率）和随机裁剪至原始尺寸的85%，输入分辨率设定为64×64、128×128和256×256像素。
• 模型在包含4,000张立面图像的筛选数据集（每座城市1,000张）和包含500,000张来自五个城市的未筛选数据集上进行训练。
• 通过线性插值标签向量（例如从阿姆斯特丹到曼哈顿）实现风格插值，实现建筑风格的平滑过渡。
• 通过使用负标签权重（例如曼哈顿的-1）实现特征减法，从生成图像中移除特定风格元素。

实验结果

研究问题

• RQ1 定制的GAN架构能否在城市建筑数据上生成比标准GAN和CGAN更真实、风格更准确的立面？
• RQ2 诸如色彩搭配、窗户图案、屋顶结构和植被等建筑特征在不同城市间如何变化？这些特征能否在生成模型中实现解耦？
• RQ3 该模型在多大程度上可实现城市间的风格插值，以生成合理的混合建筑风格？
• RQ4 使用连续标签空间是否能实现有意义且可解释的城市间风格迁移？
• RQ5 该模型能否在筛选与未筛选数据集上有效训练？数据质量对性能有何影响？

主要发现

• 所提出的City-GAN架构在相同数据集上生成的立面图像质量显著高于标准GAN和CGAN。
• 该模型成功捕捉并生成了诸如阿姆斯特丹的红色调、佛罗伦萨的米色立面以及华盛顿特区的树木繁茂街道等独特建筑特征。
• 从阿姆斯特丹到曼哈顿的风格插值展示了建筑高度、窗户尺寸和屋顶结构的连贯过渡。
• 特征减法实验表明，曼哈顿标签可抑制树木与现代建筑元素，且从阿姆斯特丹生成图像中移除该标签后，这些特征被成功消除。
• 该模型在未筛选数据集上也具备泛化能力，即使在500,000张未经筛选的立面上训练，仍能生成合理结果，尽管质量低于使用筛选数据时的表现。
• 该模型实现了有意义的风格迁移，例如通过标签插值可将一座欧洲教堂转化为美国摩天大楼风格。