[论文解读] LPaintB: Learning to Paint from Self-Supervision

Biao Jia, Jonathan Brandt+3 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 4

一句话总结

LPaintB 提出了一种基于强化学习的绘画智能体，通过结合自监督学习与近端策略优化（PPO），学习使用笔触重现参考图像。它通过重新利用失败轨迹的最终状态自动生成正样本训练数据，显著提升了样本效率和性能，相较于从零开始训练，可在单张 GTX 1080 GPU 上于 30 秒内完成对 1000×800 分辨率图像（使用 20,000 支笔触）的高质量生成。

ABSTRACT

We present a novel reinforcement learning-based natural media painting algorithm. Our goal is to reproduce a reference image using brush strokes and we encode the objective through observations. Our formulation takes into account that the distribution of the reward in the action space is sparse and training a reinforcement learning algorithm from scratch can be difficult. We present an approach that combines self-supervised learning and reinforcement learning to effectively transfer negative samples into positive ones and change the reward distribution. We demonstrate the benefits of our painting agent to reproduce reference images with brush strokes. The training phase takes about one hour and the runtime algorithm takes about 30 seconds on a GTX1080 GPU reproducing a 1000x800 image with 20,000 strokes.

研究动机与目标

• 开发一种智能绘画代理，仅使用目标图像而无需成对的人类笔触数据，即可学习重现参考图像。
• 通过提升样本效率，解决自然媒介绘画中强化学习稀疏奖励信号的挑战。
• 在无需专家标注动作序列的情况下，实现对未见风格和图像的泛化能力。
• 通过利用失败轨迹中自监督收集的数据，减少对昂贵人工标注数据集的依赖。
• 通过混合自监督与强化学习框架，加速训练并提升策略性能。

提出的方法

• 该方法使用近端策略优化（PPO），其观测值同时编码当前渲染结果与目标参考图像。
• 提出一种自监督数据收集机制，将失败轨迹的最终状态重新用作正样本训练示例，将目标状态替换为最终渲染结果。
• 动作空间为连续空间，由笔触参数定义：位置、方向、长度和大小。
• 训练阶段仅使用参考图像，不依赖成对的人类笔触数据，而是依赖从失败轨迹中生成的自监督数据。
• 策略网络通过自监督数据与强化学习联合微调，实现更快收敛与更优性能。
• 高效的渲染系统可使用训练好的智能体实时生成高分辨率笔触绘画。

实验结果

研究问题

• RQ1 在无成对人工标注动作的情况下，自监督学习能否有效为自然媒介绘画中的强化学习生成正样本训练数据？
• RQ2 与从零开始训练相比，结合自监督数据收集与强化学习在样本效率和策略性能方面有何提升？
• RQ3 该训练好的智能体在未见参考图像与不同艺术风格上的泛化能力达到何种程度？
• RQ4 与以往从零开始训练的基于强化学习的绘画智能体相比，该方法在性能与效率上表现如何？
• RQ5 自监督数据的分布对生成绘画的泛化能力与视觉质量有何影响？

主要发现

• 自监督与强化学习联合方案在 Benchmark2（从空白画布开始重现）上获得累计奖励 61.13，显著优于仅使用强化学习（26.33）和仅使用自监督（30.79）。
• 在高分辨率图像重建任务中，LPaintB 的 L₂ 损失为 1485，低于 PaintBot [JFB*19] 的 1920，表明图像保真度更优。
• 该方法将训练时间缩短至约 1 小时，推理时间控制在 GTX 1080 GPU 上对 1000×800 图像（20,000 支笔触）约 30 秒内完成。
• 学习曲线显示，使用自监督后收敛速度更快、性能更高，证实了样本效率的提升。
• 该方法在无需任何成对人类笔触数据的情况下，成功生成视觉上引人入胜的绘画作品，证明了对未见图像的有效零样本泛化能力。
• 尽管有所改进，生成图像在高对比度区域仍略显模糊，表明仍需更优的奖励设计或更高分辨率监督。