[论文解读] Automated Interactive Domain-Specific Conversational Agents that Understand Human Dialogs

Yankai Zeng, Abhiramon Rajasekharan+4 more|arXiv (Cornell University)|Mar 15, 2023

Multi-Agent Systems and Negotiation被引用 5

一句话总结

本文提出 AutoConcierge，一种自动化、交互式、领域特定的对话代理，通过结合 GPT-3 进行语义解析与基于逻辑的常识推理（s(CASP)），实现对人类对话的理解。该系统通过自然语言动态获取用户偏好，在餐厅推荐任务中表现优于 Bing AI，借助形式化推理确保结果的正确性与一致性。

ABSTRACT

Achieving human-like communication with machines remains a classic, challenging topic in the field of Knowledge Representation and Reasoning and Natural Language Processing. These Large Language Models (LLMs) rely on pattern-matching rather than a true understanding of the semantic meaning of a sentence. As a result, they may generate incorrect responses. To generate an assuredly correct response, one has to "understand" the semantics of a sentence. To achieve this "understanding", logic-based (commonsense) reasoning methods such as Answer Set Programming (ASP) are arguably needed. In this paper, we describe the AutoConcierge system that leverages LLMs and ASP to develop a conversational agent that can truly "understand" human dialogs in restricted domains. AutoConcierge is focused on a specific domain-advising users about restaurants in their local area based on their preferences. AutoConcierge will interactively understand a user's utterances, identify the missing information in them, and request the user via a natural language sentence to provide it. Once AutoConcierge has determined that all the information has been received, it computes a restaurant recommendation based on the user-preferences it has acquired from the human user. AutoConcierge is based on our STAR framework developed earlier, which uses GPT-3 to convert human dialogs into predicates that capture the deep structure of the dialog's sentence. These predicates are then input into the goal-directed s(CASP) ASP system for performing commonsense reasoning. To the best of our knowledge, AutoConcierge is the first automated conversational agent that can realistically converse like a human and provide help to humans based on truly understanding human utterances.

研究动机与目标

• 开发一种真正理解人类对话的对话代理，而非依赖模式匹配。
• 通过整合基于逻辑的推理，解决大语言模型在基于事实、任务导向对话中的局限性，以确保正确性与一致性。
• 实现交互式、目标导向的对话，使代理能够识别缺失信息并以自然语言方式请求补充。
• 展示一种结合大语言模型用于自然语言生成与语义解析，以及 ASP 用于可靠常识推理的系统。
• 构建一个可扩展的框架，用于开发超越餐厅领域的领域特定、可解释且可靠的对话代理。

提出的方法

• 利用 GPT-3 与上下文学习，将自然语言用户语句转化为表示语义意义的结构化逻辑谓词。
• 使用目标导向的 s(CASP) 系统对生成的谓词执行常识推理，检查一致性并识别缺失信息。
• 采用对话知识模板来引导对话流程，并根据用户偏好与推理状态决定提出哪些问题。
• 使用 GPT-3 将 ASP 计算出的响应（作为逻辑项）转换回自然语言，用于用户交互。
• 集成反馈回路，当输入不完整或不一致时，触发后续问题以获取缺失细节。
• 使用德克萨斯大学阿灵顿分校提供的真实餐厅数据知识库为推荐结果提供真实依据。

实验结果

研究问题

• RQ1 对话代理能否在不依赖模式匹配的情况下，通过自然语言动态理解并推理用户偏好？
• RQ2 如何将大语言模型与基于逻辑的推理相结合，以确保任务导向对话中的正确性与一致性？
• RQ3 自动化系统能否通过交互式、自然语言提问的方式，以类人对话的方式获取缺失信息？
• RQ4 该系统在事实性任务中的可靠性与可解释性方面，与最先进的基于大语言模型的聊天机器人相比如何？
• RQ5 STAR 框架在多大程度上可扩展，以构建具备形式化推理能力的自动化、领域特定对话代理？

主要发现

• AutoConcierge 通过使用 GPT-3 与上下文学习，成功将用户语句转化为正式谓词，实现对语义的理解。
• s(CASP) 的集成使系统能够检测不一致性、识别缺失信息，并执行可靠的常识推理。
• AutoConcierge 在餐厅推荐任务中表现优于 Bing AI，展现出更高的可靠性与正确性。
• 通过双阶段使用 GPT-3，系统生成的自然语言响应在语境上恰当且逻辑一致。
• 该架构支持交互式、有状态的对话，代理可提出后续问题以细化用户偏好。
• 该方法可扩展至其他领域，如自动银行柜员、接待员或社交机器人，如未来工作中所展示。