[论文解读] Learning via social awareness: improving sketch representations with facial feedback

Natasha Jaques, Jesse Engel+4 more|arXiv (Cornell University)|Feb 12, 2018

Face Recognition and Perception被引用 6

一句话总结

本文提出使用隐式社会反馈——具体而言，人类面部表情——作为内在损失信号，以改进深度生成模型中的草图生成。通过在观看者面部反应数据上训练潜在约束生成对抗网络（LC-GAN），该模型学会生成更具美学吸引力的草图，在对76名独立用户的评估中，这些草图引发的正面面部表情显著更多。

ABSTRACT

In the quest towards general artificial intelligence (AI), researchers have explored developing loss functions that act as intrinsic motivators in the absence of external rewards. This paper argues that such research has overlooked an important and useful intrinsic motivator: social interaction. We posit that making an AI agent aware of implicit social feedback from humans can allow for faster learning of more generalizable and useful representations, and could potentially impact AI safety. We collect social feedback in the form of facial expression reactions to samples from Sketch RNN, an LSTM-based variational autoencoder (VAE) designed to produce sketch drawings. We use a Latent Constraints GAN (LC-GAN) to learn from the facial feedback of a small group of viewers, and then show in an independent evaluation with 76 users that this model produced sketches that lead to significantly more positive facial expressions. Thus, we establish that implicit social feedback can improve the output of a deep learning model.

研究动机与目标

• 探究人类面部表情的隐式社会反馈是否可作为提升生成模型性能的有效内在激励信号。
• 解决现有研究中忽视社会互动作为人工智能学习内在激励来源的空白。
• 开发一种利用观看者面部反应引导学习更具泛化性与社会吸引力的草图表征的方法。
• 评估基于社会反馈训练的模型是否能产生比基线模型引发更多积极情绪反应的输出。

提出的方法

• 收集观看者在观看由Sketch RNN（一种基于变自编码器的LSTM模型）生成的草图时的面部表情数据。
• 使用潜在约束生成对抗网络（LC-GAN）将社会反馈信号（源自面部表情）作为条件，作用于生成模型。
• 训练LC-GAN，使其生成的草图与与正面面部反应相关的潜在空间模式相一致。
• 通过面部表情分析提取隐式反馈信号，并将其视为生成器的奖励信号。
• 将社会反馈信号整合到损失函数中，引导模型生成更具社会吸引力的草图。
• 在保留的76名用户群体上评估最终模型，以衡量生成草图的情感影响。

实验结果

研究问题

• RQ1 人类面部表情的隐式社会反馈能否作为提升生成模型输出的有效内在损失信号？
• RQ2 在社会反馈上进行训练的草图生成模型是否会产生更具美学吸引力和情感吸引力的输出？
• RQ3 与未使用此类反馈的基线模型相比，基于社会反馈训练的模型在用户情感反应方面表现如何？
• RQ4 社会反馈能否提升深度生成模型中学习表征的泛化能力与质量？

主要发现

• 通过LC-GAN结合社会反馈训练的模型所生成的草图，相比基线模型Sketch RNN，能显著引发观看者更多的正面面部表情。
• 对76名用户的独立评估证实，基于社会反馈训练的模型生成的草图在感知上更具吸引力且情感上更具感染力。
• 将面部反馈用作潜在约束，可在无需显式奖励标签的情况下，提升生成草图的质量与社会可接受性。
• 结果表明，即使在缺乏外部奖励的情况下，社会反馈仍可作为表示学习中的强大内在激励。
• LC-GAN框架成功利用隐式人类反应，引导生成建模向更符合人类偏好的输出方向发展。