[论文解读] Different but Equal: Comparing User Collaboration with Digital Personal Assistants vs. Teams of Expert Agents

Cláudio Pinhanez, Heloísa Candello+5 more|arXiv (Cornell University)|Jan 1, 2018

AI in Service Interactions参考文献 45被引用 4

一句话总结

本研究比较了用户与单一数字个人助理协作与与一组专家聊天机器人协作在金融咨询任务中的表现，使用完全相同的对话内容。结果显示，任务完成度和协作成本无显著差异，用户在两种设置下对代理行为的预测能力相当，表明两种模式在人机协作中均具有同等可行性。

ABSTRACT

This work compares user collaboration with conversational personal assistants vs. teams of expert chatbots. Two studies were performed to investigate whether each approach affects accomplishment of tasks and collaboration costs. Participants interacted with two equivalent financial advice chatbot systems, one composed of a single conversational adviser and the other based on a team of four experts chatbots. Results indicated that users had different forms of experiences but were equally able to achieve their goals. Contrary to the expected, there were evidences that in the teamwork situation that users were more able to predict agent behavior better and did not have an overhead to maintain common ground, indicating similar collaboration costs. The results point towards the feasibility of either of the two approaches for user collaboration with conversational agents.

研究动机与目标

• 探究用户与专家聊天机器人团队协作是否在任务完成度和协作成本方面与与单一个人助理协作存在差异。
• 探讨团队专家模式是否比个人助理模式带来更高的认知或协调负担。
• 评估用户在两种交互范式中是否形成对代理行为的相似心理模型。
• 评估在现实任务场景中，多机器人对话系统与集中式个人助理在可行性与用户体验方面的表现。

提出的方法

• 通过两场受控用户研究进行，使用完全相同的对话内容，其中一种版本将所有回复呈现为来自单一个人聊天机器人的输出，另一种版本则将四个不同专家聊天机器人的回复以共享聊天的形式展示。
• 研究中使用的金融咨询系统源自一个现有的多专家系统（finch），个人助理版本通过将四个专家机器人界面统一为单个代理外观而创建。
• 参与者在一个类似WhatsApp的聊天环境中完成金融咨询任务，两种系统产生的语句和行为完全一致，以隔离界面结构的影响。
• 协作成本通过用户报告的努力程度、对代理行为的预测准确度以及对话中共同理解的维持情况进行衡量。
• 应用Clark的联合活动理论及Klein等人提出的理论框架，分析两种模型之间协作动态的差异。

实验结果

研究问题

• RQ1 与使用单一个人助理相比，与专家聊天机器人团队协作是否导致更高的协作成本？
• RQ2 用户在团队专家设置与个人助理设置中，对代理行为的预测能力是否相当？
• RQ3 用户在两种交互模型中对代理角色和行为的心理模型有何不同？
• RQ4 团队专家模式是否因协调复杂性导致任务成功率降低？

主要发现

• 用户在个人助理和专家团队两种配置下，完成金融咨询目标的成功率相同，表明两种模式在性能上无差异。
• 参与者报告在与专家聊天机器人团队协作时，协作成本未显著增加，与预期中多代理交互更费力的假设相反。
• 用户在两种设置中对代理行为的预测能力相当，表明心理模型的清晰度和可预测性水平相似。
• 团队专家模式并未增加维持共同理解所需的努力，表明代理间的协调未给用户带来额外认知负担。
• 尽管管理多个代理在感知上更复杂，但用户在研究持续时间内未报告在多机器人条件下出现更高的认知压力。
• 研究结果表明，多机器人聊天系统是个人助理的可行替代方案，尤其因其在透明度、用户控制权以及减少权力集中方面具有潜在优势。