[论文解读] Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges

Sivan Schwartz, Avi Yaeli+1 more|arXiv (Cornell University)|Aug 10, 2023

Robotic Process Automation Applications被引用 10

一句话总结

论文分析新兴的基于 LLM 的 AI 自动化代理中的信任，提出多维度的信任框架，并评估当前产品。

ABSTRACT

Trust in AI agents has been extensively studied in the literature, resulting in significant advancements in our understanding of this field. However, the rapid advancements in Large Language Models (LLMs) and the emergence of LLM-based AI agent frameworks pose new challenges and opportunities for further research. In the field of process automation, a new generation of AI-based agents has emerged, enabling the execution of complex tasks. At the same time, the process of building automation has become more accessible to business users via user-friendly no-code tools and training mechanisms. This paper explores these new challenges and opportunities, analyzes the main aspects of trust in AI agents discussed in existing literature, and identifies specific considerations and challenges relevant to this new generation of automation agents. We also evaluate how nascent products in this category address these considerations. Finally, we highlight several challenges that the research community should address in this evolving landscape.

研究动机与目标

• 将人际信任概念如何迁移到 AI 代理的总结。
• 识别特定于基于 LLM 的自动化代理的新信任考量。
• 为可靠性与开放性提出具体维度和 grounding 机制。
• 对照所提出的信任考量对当前市场产品进行评估。

提出的方法

• 综合信任（认知与情感）研究并将其应用于 AI 代理。
• 定义信任维度：可靠性、开放性、可触性、即时性、任务特征与信任轨迹。
• 引入具体的 grounding/ mediation 机制（提示/内容 mediation、任务/知识/应用 grounding）。
• 提出安全 guardrails 与容错策略，在失败时维持信任。
• 对 nascent-product 进行评估（ChatGPT, MS Copilot, Adept.AI, AgentGPT）以检验框架。

实验结果

研究问题

• RQ1 基于 LLM 的自动化代理给信任研究带来哪些新的挑战与机遇？
• RQ2 在商业流程中自主执行的 AI 代理中，信任应如何测量与验证？
• RQ3 新兴产品在多大程度上回应了所提出的信任维度与 guardrails？

主要发现

• AI 代理的信任包含认知与情感成分，受可靠性、开放性、可触性、即时性和任务特征的影响。
• 论文识别出具体的设计维度和 mediation —— 提示 mediation、内容 mediation、任务 grounding、知识 grounding、应用 grounding、用户反馈与测试，以提升可靠性。
• 关于目标、能力、数据使用和算法的透明度对开放性与信任有积极影响。
• 可触性（化身/视觉线索）和即时性行为（同理心、风格自适应）影响拟人化与用户信任。
• 任务特征（人机协同与自主行动、开放式任务）决定信任需求与缓解策略。
• 对 ChatGPT+plugins、MS Copilot、AgentGPT、Adept.AI 的初步评估显示与所提信任维度的对齐程度各不相同。