[论文解读] Dialog on a canvas with a machine

Vivien Cabannes, Thomas Kerdreux+3 more|arXiv (Cornell University)|Oct 10, 2019

Artificial Intelligence in Games参考文献 7被引用 7

一句话总结

本文介绍了一种互动式、具身化的艺术装置，其中人工智能系统作为人机创作对话中的第三位参与者，通过实时图像捕捉、神经草图生成和动态投影，以蓝色在共享画布上提出新的笔触。该系统通过分析不断演变的画作并投射AI生成的补充笔触，促进协作创作，产生新颖的艺术成果，这些成果既影响即时作品，也影响长期的艺术风格。

ABSTRACT

We propose a new form of human-machine interaction. It is a pictorial game consisting of interactive rounds of creation between artists and a machine. They repetitively paint one after the other. At its rounds, the computer partially completes the drawing using machine learning algorithms, and projects its additions directly on the canvas, which the artists are free to insert or modify. Alongside fostering creativity, the process is designed to question the growing interaction between humans and machines.

研究动机与目标

• 设计一种人机交互艺术系统，将人工智能作为实时视觉创作中的共同创作者。
• 研究人工智能生成的建议如何影响人类的艺术表达与创作决策。
• 通过明显的视觉标记（蓝色笔触）使人工智能对艺术过程的影响显而易见、可感知。
• 探索人机创作合作中协作、约束与灵感的动态演变。
• 开发一种稳健、适用于工作室环境的系统，能够实时捕捉并响应不断演变的实体画作。

提出的方法

• 摄像头实时捕捉物理画布的当前状态，对光照变化具有鲁棒性。
• 预处理流程从捕获的图像中提取并编码可见笔触（黑色、红色、绿色）。
• 基于循环神经网络的神经草图生成器使用2D点序列及笔触中断通道，生成新的笔触序列。
• 生成的笔触经过后处理，并通过校准的投影仪实时投射回画布。
• 系统在QuickDraw数据集上进行训练，并进一步在艺术家先前草图的私有数据集上微调，以匹配其视觉风格。
• 人工智能的贡献以蓝色呈现，与人类绘制的红色和绿色笔触区分开来。

实验结果

研究问题

• RQ1 将人工智能作为第三位创作参与者，如何影响人类艺术协作的动态？
• RQ2 人工智能生成的建议在多大程度上激发了人类艺术家原本不会设想的新艺术方向？
• RQ3 在创作过程中，艺术家如何看待人工智能的角色——是协作伙伴、约束，还是干扰因素？
• RQ4 与纯人类创作相比，人工智能的干预在视觉和概念层面上如何改变艺术作品的结果？
• RQ5 是否一种具有可见人工智能贡献的物理互动、实时系统，能够促进对艺术中人机协作更深层次的反思？

主要发现

• 艺术家们认为人工智能生成的笔触出人意料且富有启发性，提示了他们独立创作时不会选择的新方向。
• 艺术家们报告称，人工智能时而显得具有约束力，时而显得充满魔力，反映出人工智能在日常人类体验中的双重特性。
• 人工智能的影响不仅限于单件作品，还微妙地改变了艺术家在后续无机器参与作品中的长期视觉风格。
• 该系统在不同光照条件下成功保持了视觉一致性和鲁棒性，实现了无缝的 studio 集成。
• 使用独特的蓝色笔触表示人工智能贡献，使得机器影响的可视化追踪变得清晰，增强了对人工智能角色的透明度与反思。
• 该装置表明，实时、具身的人工智能互动能够支持有意义的协作创作，同时使人工智能的影响明确可见且可分析。