[论文解读] Challenges in Human-Agent Communication

Gagan Bansal, Jennifer Wortman Vaughan+6 more|arXiv (Cornell University)|Nov 28, 2024

Robotics and Automated Systems被引用 4

一句话总结

本文识别并分析了由先进生成式AI智能体引发的12项关键人机交互沟通挑战，将其分类为智能体到用户、用户到智能体以及贯穿交互前、中、后各阶段的总体挑战。文章呼吁制定新的设计原则，以提升复杂、高风险场景下人机交互的透明度、共同理解与控制力。

ABSTRACT

Remarkable advancements in modern generative foundation models have enabled the development of sophisticated and highly capable autonomous agents that can observe their environment, invoke tools, and communicate with other agents to solve problems. Although such agents can communicate with users through natural language, their complexity and wide-ranging failure modes present novel challenges for human-AI interaction. Building on prior research and informed by a communication grounding perspective, we contribute to the study of \emph{human-agent communication} by identifying and analyzing twelve key communication challenges that these systems pose. These include challenges in conveying information from the agent to the user, challenges in enabling the user to convey information to the agent, and overarching challenges that need to be considered across all human-agent communication. We illustrate each challenge through concrete examples and identify open directions of research. Our findings provide insights into critical gaps in human-agent communication research and serve as an urgent call for new design patterns, principles, and guidelines to support transparency and control in these systems.

研究动机与目标

• 识别并分类由于先进工具型AI智能体兴起而产生的新兴人机交互沟通挑战。
• 分析这些挑战如何影响用户与智能体在交互各阶段建立并维持共同理解。
• 突出高风险智能体应用中误沟通的风险，例如财务支出、数据泄露或系统损坏。
• 呼吁制定新的设计模式、指南与研究方向，以提升智能体系统中透明度、验证能力与用户控制力。
• 通过形式化目标设定、行为监控与反馈回路中的沟通需求，弥合人机协作中的差距。

提出的方法

• 将沟通挑战划分为三个领域：智能体到用户（A1–A5）、用户到智能体（U1–U3）以及通用挑战（X1–X4）。
• 采用沟通基础框架（Clark & Brennan, 1991）来结构化分析人机交互中相互理解的建立过程。
• 通过学术研究、活动规划与金融交易等领域的具体现实案例说明挑战。
• 分析智能体在三个交互阶段的行为：执行前（目标设定）、执行中（监控）与执行后（验证）。
• 识别关键故障模式，如非预期行为、验证不足以及因智能体不透明性与随机性导致的期望错位。
• 提出有效沟通需要动态、上下文感知的信息交换，尤其涉及所用工具、所做决策与环境影响。

实验结果

研究问题

• RQ1 现代代理系统在执行过程中或执行后，为何难以向用户清晰传达其意图、行为与推理过程？
• RQ2 用户在向自主代理有效表达目标、偏好与约束时面临哪些挑战？
• RQ3 代理如何在复杂、多步骤工作流中保持一致、可验证且可解释的行为？
• RQ4 上下文（如过往交互或环境变化）在塑造有效人机沟通中起到何种作用？
• RQ5 当代理使用多种工具与信息源时，用户如何验证其是否正确达成了目标？

主要发现

• 智能体常常未能清晰传达其当前行为、下一步计划或环境影响，导致用户困惑与缺乏信任。
• 用户难以验证智能体是否达成目标，尤其在文献综述或活动规划等复杂任务中，原因在于推理过程与工具使用不透明。
• 由于用户无法洞察其决策过程，智能体可能造成非预期后果，如泄露敏感数据或覆盖文件。
• 基础模型的随机性与上下文敏感性，使得智能体难以在类似请求中提供一致且可预测的行为。
• 用户经常需要手动修正或优化代理输出，表明共同理解不足且反馈机制不充分。
• 维持共同理解需要在目标、行为与结果方面进行明确、迭代的沟通，尤其在失败代价重大的高风险场景中。