[论文解读] Affect-Driven Modelling of Robot Personality for Collaborative Human-Robot Interactions

Nikhil Churamani, Pablo Barros+2 more|arXiv (Cornell University)|Oct 14, 2020

Social Robot Interaction and HRI参考文献 64被引用 7

一句话总结

本文提出了一种新颖的情感驱动框架，用于在人机协作互动中建模机器人个性，采用混合神经网络进行多模态情感评估，基于自组织循环网络的Affective Core用于编码耐心和情感驱动等特质，并利用强化学习智能体在最后通牒游戏中自适应调整谈判策略。关键贡献在于证明了个性特质会调节机器人的情绪与行为，参与者认为耐心且具有情感驱动的机器人更具持久性，而缺乏耐心的机器人则显得更慷慨。

ABSTRACT

Collaborative interactions require social robots to adapt to the dynamics of human affective behaviour. Yet, current approaches for affective behaviour generation in robots focus on instantaneous perception to generate a one-to-one mapping between observed human expressions and static robot actions. In this paper, we propose a novel framework for personality-driven behaviour generation in social robots. The framework consists of (i) a hybrid neural model for evaluating facial expressions and speech, forming intrinsic affective representations in the robot, (ii) an Affective Core, that employs self-organising neural models to embed robot personality traits like patience and emotional actuation, and (iii) a Reinforcement Learning model that uses the robot's affective appraisal to learn interaction behaviour. For evaluation, we conduct a user study (n = 31) where the NICO robot acts as a proposer in the Ultimatum Game. The effect of robot personality on its negotiation strategy is witnessed by participants, who rank a patient robot with high emotional actuation higher on persistence, while an inert and impatient robot higher on its generosity and altruistic behaviour.

研究动机与目标

• 为解决社交机器人中静态、基于帧的情感感知的局限性，该局限性无法捕捉长期互动中人类情感动态的演变。
• 通过建模内在情感反应与基于过往互动的情绪状态，使机器人能够发展出自适应的个性化互动行为。
• 探究个性特质（如耐心与情感驱动）如何调节机器人在协作环境中的情感评估与谈判行为。
• 设计一种框架，使机器人能够通过强化学习学习最优谈判策略，同时受到动态情感状态的引导。

提出的方法

• 训练一个混合深度神经网络，联合分析面部表情与语音，实现鲁棒的多模态情感评估，形成机器人的感情记忆与情绪状态。
• 采用循环自组织神经网络（GWR）实现Affective Core，以嵌入个性特质，其受两个关键因素影响：时间感知与社会条件化（情感驱动）。
• 机器人的情绪状态由Affective Core生成，并在马尔可夫决策过程（MDP）框架中调节其行为，实现自适应决策。
• 基于深度确定性策略梯度（DDPG）的强化学习模型在最后通牒游戏中学习最优谈判策略，以机器人的感情状态作为输入。
• 在用户研究期间，Affective Core被预先训练并冻结，以隔离个性对行为的影响，确保对个性驱动动态的稳定评估。
• 通过NICO机器人在用户研究（n=31）中评估系统，参与者需在不同个性条件下协商资源分配。

实验结果

研究问题

• RQ1 机器人的个性特质（特别是耐心与情感驱动）在长期人机互动中如何影响其情感评估与行为适应？
• RQ2 基于多模态感知生成的机器人情感记忆与情绪在协作环境中在多大程度上塑造其谈判行为？
• RQ3 当受到建模内在个性的Affective Core引导时，强化学习智能体能否学习到更自然、更具适应性的谈判策略？
• RQ4 用户如何感知并回应具有不同个性倾向的机器人在持久性与慷慨度方面的表现？
• RQ5 受个性调节的机器人情感状态是否会导致用户参与度与互动动态的可测量变化？

主要发现

• 参与者认为具有高情感驱动的耐心机器人在谈判中表现出显著更高的持久性，证明了个性对感知行为特质的影响。
• 缺乏活力且缺乏耐心的机器人被感知为更慷慨、更具利他性，表明个性特质会直接影响用户对公平与合作的感知。
• 尽管谈判策略存在差异，机器人整体印象在不同条件下无显著变化，表明基于情绪的细微行为变化可能不易被察觉。
• 用户随时间推移变得更加投入与情绪化，从最初的疏离、直接拒绝转变为更具情感层次的诉求，如“来吧，NICO，这不公平，你可以做得更好”，表明机器人成功促进了互动的演化。
• 机器人对用户策略表现出响应性，最初顺应要求，随后调整行为，表明其有效学习了动态谈判模式。
• Affective Core成功调节了机器人的情绪与行为，强化学习智能体能够根据情感反馈调整出价策略，验证了该框架设计的有效性。