[论文解读] FurChat: An Embodied Conversational Agent using LLMs, Combining Open and Closed-Domain Dialogue with Facial Expressions

Neeraj Cherakara, Finny S. Varghese+10 more|arXiv (Cornell University)|Aug 29, 2023

Social Robot Interaction and HRIPsychology被引用 3

一句话总结

FurChat 是一个基于 GPT-3.5 构建的具身对话智能体，整合了开放域与封闭域对话，并在 Furhat 机器人上实现了上下文感知的面部表情，使其实现了在国家机器人研究中心作为接待员的自然、引人入胜的互动。该系统通过提示工程将大语言模型生成的回应与情感表达和对话流程对齐，通过多模态输出展示了更高的参与度。

ABSTRACT

We demonstrate an embodied conversational agent that can function as a receptionist and generate a mixture of open and closed-domain dialogue along with facial expressions, by using a large language model (LLM) to develop an engaging conversation. We deployed the system onto a Furhat robot, which is highly expressive and capable of using both verbal and nonverbal cues during interaction. The system was designed specifically for the National Robotarium to interact with visitors through natural conversations, providing them with information about the facilities, research, news, upcoming events, etc. The system utilises the state-of-the-art GPT-3.5 model to generate such information along with domain-general conversations and facial expressions based on prompt engineering.

研究动机与目标

• 开发一个具身对话智能体，以自然、类人的方式支持开放域与封闭域对话。
• 将富有表现力的面部动作与大语言模型生成的回应相结合，以增强情感参与度与社会存在感。
• 在 Furhat 机器人上部署该系统，实现在公共科研机构环境中的真实世界互动。
• 通过精心筛选的数据库与提示工程，解决大语言模型回应中的幻觉问题。
• 证明大语言模型在超越基于规则的系统之外，实现多模态、社交智能机器人互动的可行性。

提出的方法

• 该系统以 GPT-3.5 作为核心自然语言生成引擎，通过包含上下文、个性、对话历史及包含表情符号提示的回应格式进行提示。
• 使用自定义的经验证实的事实数据库（例如关于国家机器人研究中心的信息）来支撑封闭域回应，减少幻觉。
• 对话管理器在 FurhatOS 的 NLU 进行意图识别后，将用户输入路由至大语言模型，随后将生成的回应映射到预设的面部动作。
• 面部表情通过基于情感和情绪检测结果的条件逻辑进行手势解析来触发。
• 文本转语音由 Amazon Polly 处理由 FurhatOS 集成，以生成与面部表情同步的自然语音。
• 系统采用提示工程，将个性、情感基调和表情规则直接嵌入大语言模型提示中，以实现一致的多模态输出。

Figure 1: A user interacting with the FurChat System.

实验结果

研究问题

• RQ1 基于大语言模型的对话智能体是否能在真实世界的接待员场景中有效融合开放域与封闭域对话？
• RQ2 如何系统性地生成并同步面部表情与大语言模型生成的语音，以增强感知到的社会存在感？
• RQ3 提示工程与精心筛选的知识库在多大程度上能减少大语言模型驱动的具身智能体中的幻觉？
• RQ4 单一的大语言模型系统能否在从事实问答到闲聊的多样化互动类型中保持连贯性与参与度？
• RQ5 多模态线索（语音、面部表情）的整合如何影响用户对社交机器人自然度与信任感的感知？

主要发现

• FurChat 系统成功支持开放域与封闭域对话的无缝融合，使与访客的对话自然流畅。
• 面部表情与语音及情感语境有效同步，显著增强了感知到的表现力与社会参与度。
• 使用精心筛选的数据库显著减少了封闭域回应中的幻觉内容，提升了事实可靠性。
• 提示工程实现了个性表达与情感一致性的稳定输出，从而生成连贯且符合语境的回应。
• 该系统在国家机器人研究中心的真实部署中表现出色，能以极低的失败率处理多样化的访客查询。
• 将 GPT-3.5 与 Furhat SDK 集成，实现了可扩展、可扩展的多模态具身对话框架，超越了基于规则的系统。

Figure 2: System Architecture of the current FurChat system.