[论文解读] Deep Single Image Manipulation
本文提出了一种深度条件对抗生成器，仅使用单张目标图像进行训练，即可执行复杂的图像操作，通过广泛的数据增强和原始表征（例如边缘、分割）作为输入。该方法在无需大规模、多样化数据集的情况下，实现了单图像操作的最先进性能。
Image manipulation has attracted much research over the years due to the popularity and commercial importance of the task. In recent years, deep neural network methods have been proposed for many image manipulation tasks. A major issue with deep methods is the need to train on large amounts of data from the same distribution as the target image, whereas collecting datasets encompassing the entire long-tail of images is impossible. In this paper, we demonstrate that simply training a conditional adversarial generator on the single target image is sufficient for performing complex image manipulations. We find that the key for enabling single image training is extensive augmentation of the input image and provide a novel augmentation method. Our network learns to map between a primitive representation of the image (e.g. edges and segmentation) to the image itself. At manipulation time, our generator allows for making general image changes by modifying the primitive input representation and mapping it through the network. We extensively evaluate our method and find that it provides remarkable performance.
研究动机与目标
- 解决在缺乏大规模、多样化数据集的情况下训练深度图像操作模型的挑战。
- 实现仅使用单张目标图像进行训练即可有效进行图像操作。
- 开发一种可在无需分布数据偏差的情况下泛化至多样化图像操作任务的方法。
- 探索仅通过输入增强在单张图像上训练条件生成对抗网络的可行性。
提出的方法
- 在单张目标图像上训练条件对抗生成器，以原始表征（例如边缘、分割）作为输入。
- 对输入的原始表征应用广泛的数据增强，以模拟多样化的训练样本。
- 通过对抗训练，使模型学习从原始表征映射到重建图像。
- 在推理阶段，用户可修改原始表征（例如改变边缘或分割），并通过训练好的生成器生成新的图像变体。
- 通过对抗损失端到端训练生成器，以保持图像的真实感和结构保真度。
- 该方法依赖于条件生成对抗网络框架，其中生成器以原始输入为条件，并区分真实图像与生成图像。
实验结果
研究问题
- RQ1能否仅使用单张目标图像有效训练深度神经网络以实现图像操作？
- RQ2广泛输入增强在实现复杂图像操作的单图像训练方面有多有效？
- RQ3在单张图像上训练的模型是否能在无需微调的情况下泛化至多样化的图像操作任务？
- RQ4原始表征（边缘、分割）在实现可控图像生成中起到何种作用？
主要发现
- 所提出的方法仅使用单张图像进行训练即可实现高质量的图像操作，消除了对大规模数据集的需求。
- 广泛输入增强显著提升了模型在单图像训练中的泛化能力和性能。
- 通过修改输入的原始表征，模型成功实现了多样化的图像操作。
- 与先前方法相比，该方法在单图像操作任务中表现出最先进性能。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。