[论文解读] Empathic AI Painter: A Computational Creativity System with Embodied Conversational Interaction

Özge Nilay Yalçın, Nouf Abukhodair+1 more|arXiv (Cornell University)|May 28, 2020

Aesthetic Perception and Analysis参考文献 14被引用 8

一句话总结

本论文提出 Empathic AI Painter，一种计算创造力系统，通过共情式对话交互推断用户的五大核心人格特质，并利用两阶段AI流程生成个性化、风格化的肖像画：首先，具身对话代理（M-Path）开展五大核心人格特质访谈；其次，生成式AI肖像系统基于人格类别应用风格迁移与非照片真实感渲染。该系统在人格分类中达到82.51%的准确率，并且参与者普遍认为生成的肖像具有情感共鸣。

ABSTRACT

There is a growing recognition that artists use valuable ways to understand and work with cognitive and perceptual mechanisms to convey desired experiences and narrative in their created artworks (DiPaola et al., 2010; Zeki, 2001). This paper documents our attempt to computationally model the creative process of a portrait painter, who relies on understanding human traits (i.e., personality and emotions) to inform their art. Our system includes an empathic conversational interaction component to capture the dominant personality category of the user and a generative AI Portraiture system that uses this categorization to create a personalized stylization of the user's portrait. This paper includes the description of our systems and the real-time interaction results obtained during the demonstration session of the NeurIPS 2019 Conference.

研究动机与目标

• 通过将人格与情感的心理学洞察融入AI生成艺术，建模肖像画家的创作过程。
• 开发一种具身对话代理，通过共情式实时互动捕捉人格特质。
• 利用基于深度学习的风格化技术，生成反映被摄者推断人格的个性化肖像风格。
• 通过在NeurIPS 2019现场演示，评估系统在真实场景中的有效性。
• 探索能够与人类特质产生共鸣的AI系统潜力，超越美学层面，实现情感与认知层面的契合。

提出的方法

• 系统使用 M-Path 具身对话代理通过摄像头和麦克风开展基于网络摄像头的五大核心人格问卷调查，实时捕捉口头回应。
• 根据回应结果，将人格特质归类为五个维度（开放性、尽责性、外向性、宜人性、神经质性）。
• 预处理流程将人脸从背景中分割，并应用伦勃朗风格的照明以增强面部特征。
• 经修改的深度梦境（mDD）系统，基于3,000位艺术家的160,000幅带标签艺术作品进行训练，使用艺术训练数据而非 ImageNet 生成风格化基线。
• ePainterly 模块应用非照片真实感渲染（NPR）技术，包括笔触引擎建模、粒子系统与色彩调色板调控，以实现连贯、富有艺术感的笔触。
• 最终肖像通过迭代优化生成，结合 mDD 输出与 NPR 技术，并在在线画廊中展示以供评估。

实验结果

研究问题

• RQ1 AI系统能否通过共情式实时对话交互有效推断人格特质？
• RQ2 生成式AI系统在多大程度上能将推断出的人格类别准确映射到肖像画中的独特艺术风格？
• RQ3 用户在多大程度上认为生成的肖像能体现其自身特质的情感与个人特征？
• RQ4 两阶段AI流程（人格推断后接风格迁移）能否生成在美学上协调且个性化的肖像？
• RQ5 认知与感知机制在使AI生成艺术产生个人共鸣方面发挥何种作用？

主要发现

• M-Path 对话代理在语音识别方面达到84.72%的准确率，在正确分类用户五大核心人格特质方面达到82.51%的准确率。
• 在完成完整交互的26名参与者中，识别出17种不同的人格类别，表明系统对人格谱系具有广泛覆盖。
• 参与者频繁请求其肖像的高分辨率版本，表明其对肖像的个人相关性与情感共鸣有强烈感知。
• 通过整合 mDD 与 ePainterly 模块，系统成功减少了噪声伪影并改善了笔触聚类效果。
• NeurIPS 2019 的专家观察员表示，肖像似乎反映出参与者的感知人格特征，但该反馈仍需在控制实验中进一步验证。
• 使用包含67GB、160,000幅带标签艺术作品的自定义数据集，使风格迁移比基于标准 ImageNet 的模型更具艺术准确性。