[论文解读] CLIP-CLOP: CLIP-Guided Collage and Photomontage

Piotr Mirowski, Dylan Banarse+3 more|arXiv (Cornell University)|May 6, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

CLIP-CLOP 引入了一种基于梯度的拼贴生成器，利用 CLIP 引导的优化方法，从手动筛选的图像碎片中组合生成高分辨率照片拼贴，通过 CLIP 的双模态图文编码器保持美学一致性，同时允许人工参与控制碎片的位置、缩放和旋转。该系统在生成更具表现力和真实感的拼贴作品方面，提供了超越仅靠提示词的扩散模型的艺术控制力。

ABSTRACT

The unabated mystique of large-scale neural networks, such as the CLIP dual image-and-text encoder, popularized automatically generated art. Increasingly more sophisticated generators enhanced the artworks' realism and visual appearance, and creative prompt engineering enabled stylistic expression. Guided by an artist-in-the-loop ideal, we design a gradient-based generator to produce collages. It requires the human artist to curate libraries of image patches and to describe (with prompts) the whole image composition, with the option to manually adjust the patches' positions during generation, thereby allowing humans to reclaim some control of the process and achieve greater creative freedom. We explore the aesthetic potentials of high-resolution collages, and provide an open-source Google Colab as an artistic tool.

研究动机与目标

• 开发一种创造性、交互式的程序化拼贴生成系统，恢复在 AI 辅助艺术中的人类主导权。
• 使艺术家能够在生成过程中筛选并操作单个图像碎片，从而在提示词工程之外实现更高的创作控制力。
• 将拼贴形式形式化为对选定碎片的仿射变换和色彩变换的可微分优化，由 CLIP 的语义理解进行引导。
• 探索基于碎片组合而非潜在扩散或笔画生成的高分辨率、具有视觉冲击力的写实照片拼贴。
• 开源一款支持 CLIP 引导、基于碎片的图像合成艺术实验的工具。

提出的方法

• 拼贴生成器对 N 个手动选择的图像碎片分别应用可微分的仿射变换（平移、旋转、缩放）和色彩变换（亮度、对比度、饱和度）。
• 通过透明或不透明混合方式将碎片叠加到画布上，最终图像以 RGB 张量形式渲染。
• CLIP 双编码器评估生成拼贴与用户提供的文本提示之间的匹配度，为优化提供损失信号。
• 通过在碎片参数（位置、色彩、变换）上进行梯度下降实现优化，高分辨率输出采用重叠 CLIP 评论家进行分层细化。
• 用户可暂停生成，通过用户界面手动调整碎片的位置、旋转角度和缩放比例，然后恢复优化——实现人机协同的迭代优化。
• 该系统支持多种渲染策略和评论家评估方案，包括用于高分辨率图像组合的重叠区域评分。

实验结果

研究问题

• RQ1 基于 CLIP 引导的、基于碎片的拼贴生成器能否在仅使用手动选择的图像碎片的情况下，生成高分辨率、视觉连贯的艺术作品，并在艺术控制力上超越仅靠提示词的扩散模型？
• RQ2 在优化过程中引入人工干预，如何影响生成拼贴的美学质量与创作表现力？
• RQ3 在不依赖潜在扩散或笔画生成的前提下，CLIP 的语义理解能在多大程度上指导复杂多碎片拼贴的构图？
• RQ4 不同类型的碎片（如动物、碎裂的盘子、水果）如何影响最终拼贴的视觉风格与真实感？
• RQ5 分层的、重叠的 CLIP 评论家评估能否提升大规模照片拼贴的一致性与分辨率？

主要发现

• CLIP-CLOP 仅使用手动选择的图像碎片即可生成高分辨率、写实风格的拼贴作品，无需潜在空间优化，实现了完全可解释性和控制力。
• 在优化过程中对碎片位置进行人工干预显著增强了创作归属感与构图精确度，交互示例已证明其效果。
• 使用较少碎片（如 10–20 个）可生成抽象、毕加索风格的拼贴，而使用更多碎片（如 100 个以上）则能生成越来越真实、细节丰富的图像，如公牛或舞者主题的拼贴。
• 使用动物或碎裂盘子的碎片可产生独特的视觉纹理，在《彩色玻璃中的艾伦·图灵》等作品中实现类似彩绘玻璃的效果，其纹理保真度优于基于笔画（CLIPDraw）和扩散模型的方法。
• 该系统支持分层的、重叠的 CLIP 评论家评估，通过评分重叠区域并整合结果，实现高分辨率图像生成。
• 开源的 Google Colab 实现使艺术家能够使用多样且无版权问题的图像碎片，开展基于 CLIP 引导的拼贴实验，具备完全可复现性与可扩展性。