[论文解读] A Hybrid Architecture for Multi-Party Conversational Systems

Maíra Gatti de Bayser, Paulo Cavalin+5 more|arXiv (Cornell University)|May 3, 2017

Speech and dialogue systems参考文献 12被引用 9

一句话总结

本文提出了一种混合架构用于多方对话系统（MPCS），通过将显式的对话规范与机器学习相结合，以协调多名用户与机器人之间的互动。该系统在金融领域得到验证，展示了在并发用户负载下的可扩展性与响应能力，响应时间随用户数量增加而可预测地增长。

ABSTRACT

Multi-party Conversational Systems are systems with natural language interaction between one or more people or systems. From the moment that an utterance is sent to a group, to the moment that it is replied in the group by a member, several activities must be done by the system: utterance understanding, information search, reasoning, among others. In this paper we present the challenges of designing and building multi-party conversational systems, the state of the art, our proposed hybrid architecture using both rules and machine learning and some insights after implementing and evaluating one on the finance domain.

研究动机与目标

• 解决在人类与机器人参与的多方对话中缺乏协调、可扩展系统的现状。
• 设计一种混合架构，将对话规范与机器学习相结合，实现稳健的对话管理。
• 在真实金融领域应用场景中，评估系统在并发用户负载下的性能表现。
• 识别多方聊天机器人交互中性能瓶颈与可扩展性极限。
• 通过解耦的规范定义与微服务部署，实现未来可扩展性。

提出的方法

• 该架构使用中介机器人（Mediator bot）协调多个领域专用专家机器人（如CDBExpert、SavingsAccountExpert）在群组对话中的互动。
• 对话规范以规则形式编码，用于控制发言顺序、话题转换与响应合规性，确保行为符合社交规范。
• 使用机器学习模型实现专家机器人中的意图识别与响应生成，支持自然语言理解。
• 系统实现为SABIA（Bots in Interaction的可扩展架构），采用模块化、事件驱动的设计，支持可扩展性。
• 通过模拟对话对性能进行评估，测试单用户与八名并发用户场景，测量29个对话轮次的响应时间。
• 采用双对话测试框架，通过不同语句测试以评估系统在各类金融相关查询下的鲁棒性与一致性。

实验结果

研究问题

• RQ1 如何在多方聊天机器人系统中有效整合对话规范与机器学习？
• RQ2 在并发用户负载下，扩展多方对话系统的主要性能瓶颈是什么？
• RQ3 在混合MPCS中，单用户与多用户场景下的响应延迟有何差异？
• RQ4 结合规范与机器学习的混合架构能否在复杂、多轮金融对话中保持一致性和正确性？
• RQ5 哪些架构模式能够支持大规模多方对话系统中的可扩展性与治理？

主要发现

• 单用户测试中，所有机器人响应均在30秒阈值内完成，中介机器人因协调开销导致响应时间最长。
• CDBExpert机器人在响应3中耗时超过零秒，确认了对复杂查询的预期行为，且专家机器人在类似任务中表现出一致的响应时间。
• 在八名并发用户场景下，结束模拟响应的中位数响应时间相比单用户条件最高增加11.4倍，尤其在响应9中表现明显。
• 平均而言，八名用户负载下的结束响应耗时是单用户负载下的7.3倍，表明存在显著的可扩展性挑战。
• 中介机器人表现出最高延迟，尤其是在最终响应生成阶段，凸显其作为核心协调瓶颈的角色。
• 系统性能稳定且可重复，结果经多次运行平均，标准偏差低于1%。