[论文解读] Mastering Sketching: Adversarial Augmentation for Structured Prediction

Edgar Simo‐Serra, Satoshi Iizuka+1 more|arXiv (Cornell University)|Mar 27, 2017

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出了一种用于草图简化中结构化预测的对抗性增强方法，采用生成对抗网络（GAN）框架，其中判别器用于区分真实草图与生成草图，从而提升输出的真实感与泛化能力。该方法有效利用了无监督数据，在真实世界中的粗糙草图上实现了最先进性能，同时支持逆问题，如从线条图生成铅笔画。

ABSTRACT

We present an integral framework for training sketch simplification networks that convert challenging rough sketches into clean line drawings. Our approach augments a simplification network with a discriminator network, training both networks jointly so that the discriminator network discerns whether a line drawing is a real training data or the output of the simplification network, which in turn tries to fool it. This approach has two major advantages. First, because the discriminator network learns the structure in line drawings, it encourages the output sketches of the simplification network to be more similar in appearance to the training sketches. Second, we can also train the simplification network with additional unsupervised data, using the discriminator network as a substitute teacher. Thus, by adding only rough sketches without simplified line drawings, or only line drawings without the original rough sketches, we can improve the quality of the sketch simplification. We show how our framework can be used to train models that significantly outperform the state of the art in the sketch simplification task, despite using the same architecture for inference. We additionally present an approach to optimize for a single image, which improves accuracy at the cost of additional computation time. Finally, we show that, using the same framework, it is possible to train the network to perform the inverse problem, i.e., convert simple line sketches into pencil drawings, which is not possible using the standard mean squared error loss. We validate our framework with two user tests, where our approach is preferred to the state of the art in sketch simplification 92.3% of the time and obtains 1.2 more points on a scale of 1 to 5.

研究动机与目标

• 为解决在成对标注草图数据上训练的草图简化模型泛化能力差的问题，这些数据无法反映真实世界中的粗糙草图。
• 通过在训练中引入无标签的粗糙草图，提升模型在非约束性、真实世界草图（'in the wild'）上的简化性能。
• 实现从干净线条图生成铅笔画的逆问题，而这是使用标准均方误差损失无法实现的。
• 通过结合对抗损失与均方误差，稳定 GAN 在结构化预测中的训练，避免模式崩溃与伪影。
• 开发一种推理时优化方法，在增加推理时间的代价下，提升对困难个别案例的准确性。

提出的方法

• 训练一个全卷积的草图简化网络，与一个判别器网络联合训练，该判别器用于分类草图是真实的（来自训练数据）还是生成的。
• 简化网络通过最小化均方误差（MSE）损失和对抗损失进行优化，以鼓励输出具有真实感与一致性。
• 通过在真实草图和生成草图上训练判别器，利用无监督数据（无对应简化版本的粗糙草图），实现混合监督与无监督学习。
• 该框架仅让判别器观察简化后的草图输出，而不依赖输入的粗糙草图，相比条件 GAN，提升了训练稳定性。
• 引入一种推理时优化程序，通过对抗损失在单个输入图像上微调网络，提升对挑战性案例的准确性。
• 通过反转数据角色重新训练同一框架，将方法扩展至逆问题——即从干净线条图生成铅笔画。

实验结果

研究问题

• RQ1 与基于标准 MSE 的训练相比，对抗性训练是否能提升草图简化输出的真实感与结构一致性？
• RQ2 能否有效利用在真实世界中发现的无监督粗糙草图，以提升模型泛化能力，而无需成对标注？
• RQ3 所提出的框架是否能实现从干净线条图生成铅笔画的逆任务，而这是标准损失函数无法实现的？
• RQ4 与条件 GAN 相比，所提出方法在训练稳定性与输出质量方面表现如何，特别是在伪影生成方面？
• RQ5 推理时优化是否能进一步提升对困难个体草图的准确性，以及在推理时间上的权衡如何？

主要发现

• 所提方法在草图简化任务中优于最先进方法，用户研究显示其被偏好 92.3% 的时间，且在 5 分制评分中高出 1.2 分。
• 该框架有效利用了无监督数据，在无需额外标注的情况下，显著提升了真实世界粗糙草图的性能。
• 采用对抗性增强训练的模型生成的草图比基于标准 MSE 的模型更清晰、更一致，后者往往导致模糊或特征扭曲。
• 与条件 GAN 相比，所提方法在训练过程中更稳定，且由于引入了 MSE 损失进行正则化，避免了伪影。
• 推理时优化提升了对困难案例（如低对比度草图）的准确性，但显著增加了推理时间。
• 同一框架成功实现了从干净线条图生成铅笔画的逆任务，证明其在结构化预测问题中的广泛适用性。