[논문 리뷰] Challenges in Human-Agent Communication

Gagan Bansal, Jennifer Wortman Vaughan외 6명|arXiv (Cornell University)|2024. 11. 28.

Robotics and Automated Systems인용 수 4

한 줄 요약

이 논문은 고급 생성형 AI 에이전트의 발전으로 인해 발생하는 인간-에이전트 상호작용에서의 12가지 핵심 소통 과제를 식별하고 분석하며, 이들을 상호작용 이전, 동안, 이후 단계에 걸쳐 발생하는 에이전트-사용자, 사용자-에이전트, 종합적인 과제로 분류한다. 복잡하고 고위험도의 에이전트 상호작용에서 투명성, 공통 이해, 제어력을 향상시키기 위해 새로운 설계 원칙이 필요하다고 주장한다.

ABSTRACT

Remarkable advancements in modern generative foundation models have enabled the development of sophisticated and highly capable autonomous agents that can observe their environment, invoke tools, and communicate with other agents to solve problems. Although such agents can communicate with users through natural language, their complexity and wide-ranging failure modes present novel challenges for human-AI interaction. Building on prior research and informed by a communication grounding perspective, we contribute to the study of \emph{human-agent communication} by identifying and analyzing twelve key communication challenges that these systems pose. These include challenges in conveying information from the agent to the user, challenges in enabling the user to convey information to the agent, and overarching challenges that need to be considered across all human-agent communication. We illustrate each challenge through concrete examples and identify open directions of research. Our findings provide insights into critical gaps in human-agent communication research and serve as an urgent call for new design patterns, principles, and guidelines to support transparency and control in these systems.

연구 동기 및 목표

• 고급 도구 사용 AI 에이전트의 등장으로 인해 나타나는 인간-에이전트 상호작용의 신규 소통 과제를 식별하고 분류하는 것.
• 이러한 과제가 상호작용 단계 전반에 걸쳐 사용자와 에이전트 간의 공통 지식 수립 및 유지에 어떤 영향을 미치는지 분석하는 것.
• 재정 지출, 데이터 泄露, 시스템 손상과 같은 고위험 응용 분야에서의 오해 소통 위험을 부각하는 것.
• 투명성, 검증 가능성, 사용자 제어력을 향상시키기 위해 새로운 설계 패턴, 지침, 연구 방향을 제안하는 것.
• 목표 설정, 행동 모니터링, 피드백 루프 등에서 인간-AI 협업의 격차를 메우기 위해 소통 요구를 체계화하는 것.

제안 방법

• 소통 과제를 세 영역으로 분류: 에이전트-사용자(A1–A5), 사용자-에이전트(U1–U3), 일반 과제(X1–X4).
• 클락 및 브레넌(1991)의 소통 기반 프레임워크를 활용해 인간-에이전트 상호작용에서 상호 이해를 분석하는 데 기반을 둔다.
• 학술 연구, 행사 기획, 금융 거래 등 다양한 분야의 실제 사례를 제시하여 과제를 구체화한다.
• 실행 이전(목표 설정), 실행 중(모니터링), 실행 이후(검증) 단계에 걸쳐 에이전트 행동을 분석한다.
• 에이전트의 투명성과 확률적 성격으로 인한 의도하지 않은 행동, 낮은 검증 수준, 기대치의 불일치 등 주요 실패 유형을 규명한다.
• 효과적인 소통은 도구 사용, 결정 내림, 환경 영향에 관한 동적이고 맥락 인식 정보 교환을 필요로 한다고 제안한다.

실험 결과

연구 질문

• RQ1 현대적 에이전트 시스템은 실행 중 또는 이후에 사용자에게 자신의 의도, 행동, 추론을 명확히 전달하지 못해 어떤 방식으로 실패하는가?
• RQ2 자율적 에이전트에게 목표, 선호도, 제약 조건을 효과적으로 표현하는 데 사용자가 겪는 과제는 무엇인가?
• RQ3 복잡한 다단계 워크플로우에서 에이전트는 어떻게 일관성 있고 검증 가능하며 해석 가능한 행동을 유지할 수 있는가?
• RQ4 과거 상호작용이나 환경 변화와 같은 맥락은 효과적인 인간-에이전트 소통에 어떤 역할을 하는가?
• RQ5 에이전트가 여러 도구와 자료를 사용할 경우, 사용자가 목표가 정확히 달성되었는지 어떻게 검증할 수 있는가?

주요 결과

• 에이전트는 현재 행동, 다음 단계, 환경 영향을 명확히 전달하지 못해 사용자의 혼란과 신뢰 결여를 초래한다.
• 문헌 리뷰나 행사 기획과 같은 복잡한 작업에서, 투명하지 못한 추론과 도구 사용으로 인해 사용자가 에이전트가 목표를 달성했는지 확인하기 어려운 경우가 많다.
• 사용자가 의사결정 과정을 파악하지 못함으로써 민감한 데이터 泄露나 파일 덮어쓰기 등의 의도하지 않은 부작용을 일으킬 수 있다.
• 기초 모델의 확률적 성격과 맥락 민감도로 인해 유사 요청에 대해 일관되고 예측 가능한 행동을 유지하기가 어렵다.
• 사용자가 자주 에이전트 출력을 수동으로 수정하거나 보완해야 하는 것은 공통 이해 부족과 부적절한 피드백 메커니즘을 시사한다.
• 특히 실패 비용이 높은 고위험 상황에서는 목표, 행동, 결과에 대해 명시적이고 반복적인 소통이 공통 지식 유지에 필수적이다.