[论文解读] It's Food Fight! Introducing the Chef's Hat Card Game for Affective-Aware HRI

Pablo Barros, Alessandra Sciutti+5 more|arXiv (Cornell University)|Feb 25, 2020

Social Robot Interaction and HRI参考文献 12被引用 6

一句话总结

本文提出了一款名为《The Chef's Hat》的纸牌游戏，作为一种新颖的、具备情感感知能力的人机交互（HRI）场景，旨在自然地引发人类情感反应，并使机器人能够感知、建模并响应社交互动中的人类情感。该游戏通过角色机制、物理属性和卡牌动作的结合，利用摄像头和麦克风实现对情感状态的持续监测，支持机器人通过无监督情感记忆和交互式强化学习实现自适应社交行为的学习。

ABSTRACT

Emotional expressions and their changes during an interaction affect heavily how we perceive and behave towards other persons. To design an HRI scenario that makes possible to observe, understand, and model affective interactions and generate the appropriate responses or initiations of a robot is a very challenging task. In this paper, we report our efforts in designing such a scenario, and to propose a modeling strategy of affective interaction by artificial intelligence deployed in autonomous robots. Overall, we present a novel HRI game scenario that was designed to comply with the specific requirements that will allow us to develop the next wave of affective-aware social robots that provide adequate emotional responses.

研究动机与目标

• 设计一款具有社交吸引力、情感表达丰富的纸牌游戏，适用于人机交互（HRI），自然引发情感反应。
• 构建一个机器人可自主感知并响应人类情感状态与社交动态的游戏环境。
• 通过提供结构化、数据丰富的平台，支持情感感知型机器人的开发，用于训练和评估情感感知与响应系统。
• 通过无监督和交互式强化学习机制，实现实时、持续的情感行为学习。
• 确保机器人集成不会干扰游戏流程，保持自然的人机协作与互动动态。

提出的方法

• 通过迭代式用户测试共同设计游戏，将情感动态嵌入核心机制，包括基于角色的设定（主厨、副主厨、服务员、洗碗工），并赋予其物理属性以体现身份与情感表达。
• 卡牌机制使用标有数字的食材卡和一张鬼牌，视觉设计兼顾人类识别与机器人通过二维码和摄像头追踪的感知需求。
• 游戏板呈披萨形，设有11个不同区域，确保卡牌按顺序放置，提升机器视觉对游戏状态与玩家动作的追踪准确性。
• 认知架构整合了来自前期研究的无监督情感记忆，实现对情感随时间变化的建模，无需人工标注。
• 采用交互式强化学习，将机器人行为与玩家的情感反馈关联，实现无需人工干预的最优行为学习。
• 机器人交互设计尽可能不具侵入性：iCub机器人通过口头请求处理卡牌，可使用投影仪展示其卡牌或使用卡夹放置卡牌，以保持游戏流畅性。

实验结果

研究问题

• RQ1 如何设计纸牌游戏，使其在人机交互中自然引发人类玩家的多种情感反应？
• RQ2 何种游戏机制可使机器人实现实时感知与建模人类情感状态及社交动态？
• RQ3 如何将机器人整合进社交游戏中，而不破坏人类互动的自然流程？
• RQ4 何种学习框架可使机器人基于情感反馈自适应调整行为，同时保持游戏策略与社交参与度？
• RQ5 如何实现情感感知与响应的持续、自主学习，而无需持续的人工标注？

主要发现

• 《The Chef’s Hat》纸牌游戏成功引发多种自然情感反应，包括挫败感、喜悦与合作感，且在多次游戏会话中保持稳定。
• 物理角色属性（如帽子、领结）与结构化卡牌放置的结合，显著提升了角色辨识度与游戏过程中的情感表达。
• 使用二维码卡牌与分段式游戏板，使摄像头和麦克风能够准确、实时追踪游戏状态与玩家动作。
• 所提出的认知框架支持无监督情感记忆，使机器人能够在无需标注情感数据的情况下，建模情感随时间的变化。
• 交互式强化学习使机器人能够基于观察到的玩家情感反馈学习最优行为，即使在训练过程中无明确人工反馈。
• 机器人作为辅助玩家的角色——通过口头请求协助处理卡牌，并使用投影或卡夹放置卡牌——有效保持了游戏流畅性，支持自然的人机互动。