[论文解读] Conversational Agents: Theory and Applications

Mattias Wahde, Marco Virgolin|arXiv (Cornell University)|Feb 7, 2022

AI in Service Interactions被引用 14

一句话总结

本文全面回顾了对话智能体（CAs），区分了用于闲聊的聊天机器人与用于目标导向交互的任务导向型智能体，重点探讨了对话表征、评估方法以及伦理影响。文章主张采用可解释、可问责的系统，以应对在高风险应用中由偏见和深度伪造带来的风险。

ABSTRACT

In this chapter, we provide a review of conversational agents (CAs), discussing chatbots, intended for casual conversation with a user, as well as task-oriented agents that generally engage in discussions intended to reach one or several specific goals, often (but not always) within a specific domain. We also consider the concept of embodied conversational agents, briefly reviewing aspects such as character animation and speech processing. The many different approaches for representing dialogue in CAs are discussed in some detail, along with methods for evaluating such agents, emphasizing the important topics of accountability and interpretability. A brief historical overview is given, followed by an extensive overview of various applications, especially in the fields of health and education. We end the chapter by discussing benefits and potential risks regarding the societal impact of current and future CA technology.

研究动机与目标

• 明确对话智能体的分类体系，区分聊天机器人与任务导向型智能体，并解决文献中常见的误分类问题。
• 考察对话表征技术，包括基于模式、检索式和生成式模型，以及基于规则和深度学习的方法。
• 通过语言处理指标、交互质量评估和社会影响分析，评估CA的性能，强调可解释性与可问责性。
• 探讨在医疗、教育、商业和旅游等现实场景中的应用，突出其优势与伦理风险。
• 探讨未来发展方向，包括由于法律与伦理要求，在高风险领域向透明、可解释系统转变的趋势。

提出的方法

• 将CA分类为聊天机器人（用于闲聊）和任务导向型智能体（用于目标导向），并根据对话表征方式进一步细分为基于模式、检索式和生成式模型。
• 回顾输入/输出模态，包括语音处理和角色动画，尤其在具身对话智能体（ECAs）中的应用。
• 分析对话系统作为可解释系统（基于规则、模块化）与黑箱系统（深度神经网络），强调透明性与性能之间的权衡。
• 提出结合低层级NLP指标（如BLEU、ROUGE）、交互质量评估（人工评价）和社会影响分析的评估框架。
• 将伦理考量融入系统设计，倡导在高风险应用中实现可问责性与可解释性。
• 通过案例研究和历史背景（如Loebner奖、Alexa奖）说明技术演进与当前挑战。

实验结果

研究问题

• RQ1 聊天机器人与任务导向型智能体在设计、功能和应用上有哪些差异？为何这种区分至关重要？
• RQ2 CA中对话表征的关键方法有哪些？基于规则与基于深度学习的系统在可解释性与性能方面如何比较？
• RQ3 如何在流畅性之外有效评估对话智能体，特别是在交互质量与社会影响方面？
• RQ4 黑箱CA存在哪些主要伦理风险？如何在实际部署中提升可解释性与可问责性？
• RQ5 在医疗与教育等关键领域，CA如何提供变革性优势？其负责任部署仍面临哪些挑战？

主要发现

• 由于具备结构化的对话管理与数据库集成，任务导向型智能体在航班预订或医疗建议等目标导向任务中，其精度与可靠性优于聊天机器人。
• 生成式与检索式聊天机器人在多次查询时往往产生不一致或事实性错误的回答，凸显其在事实性查询中的可靠性局限。
• 黑箱深度学习模型虽能生成流畅响应，但因隐藏偏见与缺乏透明度而带来显著风险，尤其在使用未经筛选的社交媒体数据进行训练时。
• 具身对话智能体（ECAs）通过视觉与语音线索增强用户参与度，但其设计需整合语音处理、动画与多模态交互技术。
• 深度伪造、数据滥用与有害社交依恋等伦理风险在CA中被放大，尤其在缺乏可解释性或监督机制时。
• 随着医疗与金融等高风险领域对问责性需求的提升，预计将推动向可解释、模块化对话系统转变，尽管当前仍以端到端神经网络模型为主导。