[论文解读] ChoiceMates: Supporting Unfamiliar Online Decision-Making with Multi-Agent Conversational Interactions

Jeongeon Park, Bryan Min+4 more|arXiv (Cornell University)|Oct 2, 2023

Personal Information Management and User Behavior被引用 5

一句话总结

ChoiceMates (sysname) 是一个基于大语言模型（LLM）的多智能体对话系统，通过赋予智能体个性化角色，支持用户在不熟悉在线决策场景下进行动态、富有观点的讨论，从而提升用户在信息发现、探索与管理方面的信心。在一项被试间设计的实验中（n=36），sysname 在帮助用户发现、探索和管理信息方面，表现优于网络搜索和单智能体基线系统。

ABSTRACT

From deciding on a PhD program to buying a new camera, unfamiliar decisions--decisions without domain knowledge--are frequent and significant. The complexity and uncertainty of such decisions demand unique approaches to information seeking, understanding, and decision-making. Our formative study highlights that users want to start by discovering broad and relevant domain information evenly and simultaneously, quickly address emerging inquiries, and gain personalized standards to assess information found. We present ChoiceMates, an interactive multi-agent system designed to address these needs by enabling users to engage with a dynamic set of LLM agents each presenting a unique experience in the domain. Unlike existing multi-agent systems that automate tasks with agents, the user orchestrates agents to assist their decision-making process. Our user evaluation (n=12) shows that ChoiceMates enables a more confident, satisfactory decision-making with better situation understanding than web search, and higher decision quality and confidence than a commercial multi-agent framework. This work provides insights into designing a more controllable and collaborative multi-agent system.

研究动机与目标

• 解决用户在缺乏领域知识和认知过载的情况下，进行不熟悉在线决策所面临的挑战。
• 探究多智能体对话系统如何提升用户在不熟悉领域中的信息发现能力、探索深度以及决策信心。
• 设计并评估一个系统，通过动态的智能体交互，帮助用户识别决策标准、评估选项并管理偏好。
• 通过提供多样化、富有观点且上下文丰富的视角，减少用户对可能存在偏见或信息不全的来源的依赖。

提出的方法

• sysname 采用一组动态的、基于大语言模型（LLM）的智能体，每个智能体被赋予独特的角色（如专家、新手、爱好者），以在特定决策领域中模拟多样化的观点。
• 系统支持智能体与用户之间的实时对话，关键信息（如自动提取的决策标准和选项）在摘要栏中实时显示，便于追踪。
• 用户可将重要标准和选项固定到个人资料卡中，以逐步建立并优化其偏好。
• 界面支持多轮自然语言交互，智能体不仅回应用户查询，还彼此辩论和对比选项。
• 系统整合了网络爬取的事实性数据以减少幻觉现象，但目前尚未支持多模态内容（如图片或视频）。
• 通过一项被试间用户研究，将 sysname 与网络搜索及单智能体条件进行对比，评估其在信息发现、探索深度和决策信心方面的表现。

Figure 1. \sysname is a multi-agent conversational system designed to support online decision-making in unfamiliar domains. In \sysname , the user can converse with any selected set of agents (2) in the conversation space (1) to gather sufficient information about the domain, and use the criteria an

实验结果

研究问题

• RQ1 当用户依赖传统网络搜索或单智能体助手时，其在不熟悉在线决策中的体验如何？
• RQ2 多智能体对话系统在多大程度上提升了用户在不熟悉领域中发现、探索和管理信息的能力？
• RQ3 用户如何利用多智能体交互——尤其是智能体之间的对话与观点交换——来提升决策质量？
• RQ4 摘要栏和资料卡在帮助用户追踪和优化决策偏好方面起到了何种作用？

主要发现

• 与网络搜索和单智能体条件相比，sysname 条件下的用户报告了显著更高的决策信心。
• 多智能体系统促进了对选项和标准的更深层次探索，用户发现并讨论了比基线条件更丰富的多样化观点。
• 参与者积极利用智能体之间的对话来比较和对比不同选项，将智能体视为提供有理据、有观点的洞察来源。
• 摘要栏和资料卡在帮助用户追踪和组织信息方面发挥了关键作用，尤其是在管理多个标准和选项时。
• 用户表达了对更丰富、多模态内容（如植物或相机的图片）的期待，表明当前系统能力仍存在空白。
• 研究揭示了智能体观点表达程度不足以及潜在幻觉问题，提示未来迭代中需引入如 RAG 等事实核查管道。

Figure 2. The \sysname interface: Agents populate the conversation space to converse with the user, identifying key criteria and options in their utterances (1). The Summary Bar lists those criteria and options (2), additionally showing the user profile. Thought Bubbles recommend the user questions