[论文解读] Deep Emotion: A Computational Model of Emotion Using Deep Neural Networks

Chie Hieida, Takato Horii+1 more|arXiv (Cornell University)|Aug 25, 2018

Reinforcement Learning in Robotics参考文献 2被引用 5

一句话总结

本文提出了一种三模块深度神经网络情绪模型，整合了生理评估、内部情绪状态表征以及基于强化学习的动作选择。该模型能够对刺激产生类人情绪反应，通过端到端训练实现情绪区分能力的提升与适应性行为的增强，关键结果表明，当所有模块整合时，性能显著优于消融版本。

ABSTRACT

Emotions are very important for human intelligence. For example, emotions are closely related to the appraisal of the internal bodily state and external stimuli. This helps us to respond quickly to the environment. Another important perspective in human intelligence is the role of emotions in decision-making. Moreover, the social aspect of emotions is also very important. Therefore, if the mechanism of emotions were elucidated, we could advance toward the essential understanding of our natural intelligence. In this study, a model of emotions is proposed to elucidate the mechanism of emotions through the computational model. Furthermore, from the viewpoint of partner robots, the model of emotions may help us to build robots that can have empathy for humans. To understand and sympathize with people's feelings, the robots need to have their own emotions. This may allow robots to be accepted in human society. The proposed model is implemented using deep neural networks consisting of three modules, which interact with each other. Simulation results reveal that the proposed model exhibits reasonable behavior as the basic mechanism of emotion.

研究动机与目标

• 开发一种计算情绪模型，完整捕捉人类情绪处理机制，包括评估、内部状态表征与行为反应。
• 通过赋予机器人与人类情绪反应相匹配的内部情绪状态，使其能够表现出共情行为。
• 利用深度学习弥合情绪心理学理论与可实现计算模型之间的鸿沟。
• 通过仿真与强化学习评估模型生成合理且可区分情绪反应的能力。
• 为未来在实体机器人上的实现以及与语言和社交认知的整合奠定基础。

提出的方法

• 模型使用循环注意力模块（RAM）从视觉刺激中提取效价与唤醒度值，模拟快速、自动的情绪评估过程。
• 第二模块采用卷积长短期记忆网络（ConvLSTM）表征随时间演化的内部情绪状态，捕捉动态情绪转换过程。
• 第三模块使用深度确定性策略梯度（DDPG）进行连续动作选择，使智能体能够学习适应性情绪行为，如微笑。
• 三个模块通过强化学习实现端到端训练，奖励基于情绪状态的稳态调节。
• 模型使用IAPS数据库作为情绪刺激来源，性能通过情绪区分能力与行为适应性进行评估。
• 该架构允许在训练过程中自发形成情绪分类与边界，即使初始类别数量有限。

实验结果

研究问题

• RQ1 能否仅通过视觉刺激，利用深度神经网络模型模拟类人情绪评估与反应生成？
• RQ2 整合内部情绪状态表征是否能提升情绪行为的区分度与真实性？
• RQ3 基于稳态奖励的强化学习在多大程度上可使智能体产生适应性、情境敏感的情绪反应？
• RQ4 与直接预测动作相比，引入专门的情绪状态表征层是否能提升模型性能？
• RQ5 该模型能否通过端到端训练生成细微情绪反应，如惊讶或选择性微笑？

主要发现

• 三模块架构的整合显著提升了情绪区分能力与行为适应性，优于缺乏内部情绪状态表征层的模型。
• 模型成功学会在面对正向刺激时选择性微笑，展现出符合情境的情绪行为。
• 循环注意力模块（RAM）能从视觉刺激中生成合理的效价与唤醒度值，支持快速、自动的情绪评估。
• ConvLSTM层中的内部表征显示出形成明确情绪类别的迹象，尽管仅显式训练了四个类别。
• 仿真结果表明，智能体的行为随时间从闭眼状态演化为睁眼状态，模拟了婴儿发育过程。
• 模型展现出情绪边界的自发形成，表明丰富的心理情绪空间可从简单训练目标中涌现。