[论文解读] Developing Social Robots with Empathetic Non-Verbal Cues Using Large Language Models

Yoon Kyung Lee, Yoonwon Jung+2 more|arXiv (Cornell University)|Aug 31, 2023

Social Robot Interaction and HRI被引用 16

一句话总结

论文设计了四种富有同理心的非语言线索（Speech, Action, Facial expression, Emotion），标注为 SAFE，并使用基于大语言模型的系统来生成并将这些线索与人类辅导师定义的社交线索对齐，以实现更具情境性和真实感的社交机器人互动。

ABSTRACT

We propose augmenting the empathetic capacities of social robots by integrating non-verbal cues. Our primary contribution is the design and labeling of four types of empathetic non-verbal cues, abbreviated as SAFE: Speech, Action (gesture), Facial expression, and Emotion, in a social robot. These cues are generated using a Large Language Model (LLM). We developed an LLM-based conversational system for the robot and assessed its alignment with social cues as defined by human counselors. Preliminary results show distinct patterns in the robot's responses, such as a preference for calm and positive social emotions like 'joy' and 'lively', and frequent nodding gestures. Despite these tendencies, our approach has led to the development of a social robot capable of context-aware and more authentic interactions. Our work lays the groundwork for future studies on human-robot interactions, emphasizing the essential role of both verbal and non-verbal cues in creating social and empathetic robots.

研究动机与目标

• 通过同理心非语言线索促进社交机器人提升。
• 定义并标注四种线索类型（Speech, Action, Facial expression, Emotion）以引导机器人行为。
• 为机器人开发一个基于 LLM 的对话系统，使其与人类辅导师线索保持一致。
• 评估生成的线索在社交互动中的对齐性与有效性。
• 为未来强调语言与非语言同理心的人机交互研究奠定基础。

提出的方法

• 提出四种富有同理心的非语言线索（SAFE）用于社交机器人：Speech, Action, Facial expression, and Emotion.
• 开发一个基于 LLM 的对话系统来生成和控制这些线索。
• 通过将生成的线索与由人类辅导师定义的标准进行比较来评估线索对齐情况。
• 分析机器人响应模式以识别诸如平静/积极情感和点头动作等倾向。
• 通过整合语言与非语言线索展示上下文感知和更真实的互动。

实验结果

研究问题

• RQ1 如何将 LLM 生成的非语言线索与人类辅导师定义的社交线索对齐以实现同理互动？
• RQ2 使用 SAFE 线索时，机器人响应（情感、手势）有哪些可观察的模式？
• RQ3 融合的 SAFE 框架是否能够实现更具上下文感知和真实感的社交机器人互动？
• RQ4 哪些质量与对齐指标能指示社交机器人中同理非语言线索生成的成功？

主要发现

• 初步结果显示机器人响应偏好平静和积极的社交情感，如“喜悦”和“活泼”。
• 在机器人的非语言行为中观察到频繁的点头动作。
• 该方法使人机之间的互动更加上下文感知和真实。
• 由 LLM 生成的 SAFE 线索为在机器人技术中整合语言与非语言同理心提供了结构化方式。
• 该工作为未来在人机交互中强调通过语言和非语言渠道表达同理心的研究奠定基础。