[論文レビュー] Challenges in Human-Agent Communication

Gagan Bansal, Jennifer Wortman Vaughan+6 more|arXiv (Cornell University)|Nov 28, 2024

Robotics and Automated Systems被引用数 4

ひとこと要約

この論文は、高度な生成AIエージェントに起因する12の主要な通信課題を特定・分析し、事前・実行中・事後という段階ごとのエージェント・ユーザー間、ユーザー・エージェント間、および包括的な課題に分類している。複雑で高リスクなエージェント相互作用における透明性、共通理解、制御の向上を目指し、新たな設計原則の導入を提言する。

ABSTRACT

Remarkable advancements in modern generative foundation models have enabled the development of sophisticated and highly capable autonomous agents that can observe their environment, invoke tools, and communicate with other agents to solve problems. Although such agents can communicate with users through natural language, their complexity and wide-ranging failure modes present novel challenges for human-AI interaction. Building on prior research and informed by a communication grounding perspective, we contribute to the study of \emph{human-agent communication} by identifying and analyzing twelve key communication challenges that these systems pose. These include challenges in conveying information from the agent to the user, challenges in enabling the user to convey information to the agent, and overarching challenges that need to be considered across all human-agent communication. We illustrate each challenge through concrete examples and identify open directions of research. Our findings provide insights into critical gaps in human-agent communication research and serve as an urgent call for new design patterns, principles, and guidelines to support transparency and control in these systems.

研究の動機と目的

• 高度でツールを利用したAIエージェントの登場に伴い生じる人間-エージェント相互作用における新たな通信課題を特定・分類すること。
• これらの課題が、相互作用の各段階においてユーザーとエージェントの間の共通理解の確立・維持にどのように影響するかを分析すること。
• 財務支出、データ漏洩、システム破損などの高リスクなエージェント応用分野における誤解釈のリスクを強調すること。
• エージェントシステムにおける透明性、検証、ユーザーの制御を向上させるための新たな設計パターン、ガイドライン、研究方向性を提言すること。
• 目標設定、行動監視、フィードバックループといった分野における人間-AI協働のギャップを埋めるために、通信ニーズを形式化すること。

提案手法

• 通信課題を3つの分野に分類：エージェントからユーザーへのもの（A1–A5）、ユーザーからエージェントへのもの（U1–U3）、一般的な課題（X1–X4）。
• ClarkとBrennan（1991）の通信の基盤フレームワークを用いて、人間-エージェント相互作用における相互理解の分析を構造化する。
• 学術研究、イベント計画、金融取引などの分野からの具体的で現実的な例を提示して課題を図示する。
• 実行前（目標設定）、実行中（監視）、実行後（検証）の3段階にわたり、エージェント行動を分析する。
• エージェントの不透明さや確率的性質に起因する、意図しない行動、検証の不十分さ、期待の不一致といった主要な失敗モードを同定する。
• 効果的な通信には、特に使用するツール、採択した意思決定、環境的影響に関する動的かつ文脈に適応した情報交換が必要であると提言する。

実験結果

リサーチクエスチョン

• RQ1 現代のエージェントシステムは、実行中または実行後にユーザーに対して、自らの意図、行動、推論を明確に伝えられていないのはなぜか？
• RQ2 自律的エージェントに対して、ユーザーはどのようにして目標、好み、制約を効果的に伝えているのか？
• RQ3 複雑で複数ステップにわたるワークフローにおいて、エージェントは一貫性があり検証可能で解釈可能な行動をどのように維持できるか？
• RQ4 過去の相互作用や環境の変化といった文脈は、効果的な人間-エージェント通信にどのように影響を及けるか？
• RQ5 エージェントが複数のツールや情報源を使用する場合、ユーザーはどのようにしてエージェントが目的を正しく達成したかを検証できるか？

主な発見

• エージェントは、現在の行動、次のステップ、環境的影響を明確に伝えないことが多く、これによりユーザーの混乱や信頼の欠如が生じる。
• 特に文献レビュー、イベント計画などの複雑なタスクにおいて、エージェントの不透明な推論とツール利用のため、ユーザーはエージェントが目的を達成したかどうかを検証しにくい。
• ユーザーが意思決定プロセスの可視性を持たないため、機密データの漏洩やファイルの上書きといった、意図しない副作用を引き起こす可能性がある。
• 基礎モデルの確率的および文脈依存性の性質により、類似したリクエストに対しても一貫性があり予測可能な行動を示すことが困難である。
• ユーザーはしばしば出力を手動で修正・調整する必要があることから、共通理解が不十分で、フィードバックメカニズムが不十分であることが示唆される。
• 特に失敗コストが大きな高リスクな状況では、目標、行動、結果について明示的かつ反復的なコミュニケーションが、共通理解の維持に不可欠である。