[論文レビュー] Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges

Sivan Schwartz, Avi Yaeli+1 more|arXiv (Cornell University)|Aug 10, 2023

Robotic Process Automation Applications被引用数 10

ひとこと要約

本論文は新興のLLMベースAI自動化エージェントにおける信頼を分析し、多次元の信頼フレームワークを提案するとともに、現在の製品を評価する。

ABSTRACT

Trust in AI agents has been extensively studied in the literature, resulting in significant advancements in our understanding of this field. However, the rapid advancements in Large Language Models (LLMs) and the emergence of LLM-based AI agent frameworks pose new challenges and opportunities for further research. In the field of process automation, a new generation of AI-based agents has emerged, enabling the execution of complex tasks. At the same time, the process of building automation has become more accessible to business users via user-friendly no-code tools and training mechanisms. This paper explores these new challenges and opportunities, analyzes the main aspects of trust in AI agents discussed in existing literature, and identifies specific considerations and challenges relevant to this new generation of automation agents. We also evaluate how nascent products in this category address these considerations. Finally, we highlight several challenges that the research community should address in this evolving landscape.

研究の動機と目的

• 人と人との相互作用における信頼の概念がAIエージェントへどのように移行するかを要約する。
• LLMベースの自動化エージェントに特有の新たな信頼上の考慮事項を特定する。
• 信頼性と開示性のための具体的な次元とグラウンディング機構を提案する。
• 提案された信頼上の考慮事項に対して現行の市場製品を評価する。

提案手法

• 信頼（認知的および情動的）的な文献を統合し、AIエージェントへ適用する。
• 信頼の次元を定義する：信頼性、開示性、具現性、即時性、タスク特性、信頼軌跡。
• 具体的なグラウンディング/メディエーション機構を導入する（プロンプト/内容のメディエーション、タスク/知識/適用のグラウンディング）。
• 故障時の信頼を維持するための安全ガードレールとフェイルセーフ戦略を提案する。
• フレームワークに対する新興製品評価（ChatGPT、MS Copilot、Adept.AI、AgentGPT）を提供する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースの自動化エージェントは信頼研究に対してどのような新しい課題と機会をもたらすか？
• RQ2 ビジネスプロセス内で自動的に行動するAIエージェントの信頼はどのように測定・検証すべきか？
• RQ3 新興製品は提案された信頼の次元とガードレールにどの程度対応しているか？

主な発見

• AIエージェントにおける信頼は認知的および情動的要素から成り、信頼性、開示性、具現性、即時性、タスク特性によって形成される。
• 本論文は信頼性を向上させる具体的な設計次元とメディエーション（プロンプトメディエーション、コンテンツメディエーション、タスクグラウンディング、知識グラウンディング、適用グラウンディング、ユーザーフィードバック、テスト）を特定する。
• 目標・能力・データ利用・アルゴリズムの透明性は開示性と信頼にプラスの影響を与える。
• 具現性（アバター/視覚的手掛かり）と即時性の振る舞い（共感、スタイル適応）は人間らしさとユーザーの信頼に影響を与える。
• タスク特性（人間が介入するループ vs 自律的行動、オープンエンドタスク）は信頼要件と緩和ニーズを決定する。
• ChatGPT+plugins、MS Copilot、AgentGPT、Adept.AIの予備評価は、提案された信頼の次元との適合度が種々であることを示している。