[논문 리뷰] ChoiceMates: Supporting Unfamiliar Online Decision-Making with Multi-Agent Conversational Interactions

Jeongeon Park, Bryan Min외 4명|arXiv (Cornell University)|2023. 10. 02.

Personal Information Management and User Behavior인용 수 5

한 줄 요약

ChoiceMates (sysname)는 LLM 기반의 역할 기반 에이전트를 사용하여 사용자가 낯선 온라인 결정보다 동적인, 의견이 있는 에이전트 간의 논의와 사용자와의 상호작용을 가능하게 함으로써 낯선 온라인 결정을 내리는 데 도움을 주는 다중 에이전트 대화 시스템이다. 피험자 간 설계 연구(총 n=36명)에서 sysname은 웹 검색 및 단일 에이전트 기반 대안보다 사용자가 정보를 더 확고하게 발견하고 탐색하며 관리하는 데서 뛰어난 성능을 보였다.

ABSTRACT

From deciding on a PhD program to buying a new camera, unfamiliar decisions--decisions without domain knowledge--are frequent and significant. The complexity and uncertainty of such decisions demand unique approaches to information seeking, understanding, and decision-making. Our formative study highlights that users want to start by discovering broad and relevant domain information evenly and simultaneously, quickly address emerging inquiries, and gain personalized standards to assess information found. We present ChoiceMates, an interactive multi-agent system designed to address these needs by enabling users to engage with a dynamic set of LLM agents each presenting a unique experience in the domain. Unlike existing multi-agent systems that automate tasks with agents, the user orchestrates agents to assist their decision-making process. Our user evaluation (n=12) shows that ChoiceMates enables a more confident, satisfactory decision-making with better situation understanding than web search, and higher decision quality and confidence than a commercial multi-agent framework. This work provides insights into designing a more controllable and collaborative multi-agent system.

연구 동기 및 목표

• 사용자가 도메인 지식 부족과 인지적 과부하로 인해 낯선 온라인 결정을 내리는 데 직면하는 과제를 해결하기 위해.
• 다중 에이전트 대화 시스템이 낯선 도메인에서 정보 탐색, 탐색의 깊이, 결정보다 자신감 향상에 어떻게 기여할 수 있는지 조사하기 위해.
• 사용자가 기준을 식별하고 옵션을 평가하며 선호도를 관리하는 데 도움이 되는 시스템을 설계하고 평가하기 위해.
• 편향되거나 불완전한 정보 원천에 대한 사용자 의존도를 줄이기 위해 다양한 의견을 가진, 맥락이 풍부한 시각을 제공함으로써.

제안 방법

• sysname은 각각 고유한 역할(예: 전문가, 초보자, 애호가)을 부여받은 동적 LLM 기반 에이전트 집합을 사용하여 결정 도메인 내 다양한 시각을 시뮬레이션한다.
• 시스템은 사용자와의 실시간 대화를 가능하게 하며, 자동으로 추출된 기준과 옵션을 요약 바에 표시하여 핵심 정보를 추적할 수 있도록 한다.
• 사용자는 중요한 기준과 옵션을 프로필 카드에 고정하여 시간이 지남에 따라 선호도를 수립하고 개선할 수 있다.
• 인터페이스는 다단계 자연어 상호작용을 지원하며, 에이전트가 사용자 질문에 응답하는 것 외에도 서로 다른 옵션을 논의하고 대비함으로써 상호작용한다.
• 시스템은 환영된 사실 데이터를 통합하여 환상적 정보 생성을 줄이지만, 아직 이미지나 영상과 같은 다중 모odal 콘텐츠는 포함하지 않는다.
• 피험자 간 설계 연구를 통해 sysname이 웹 검색 및 단일 에이전트 조건과 비교되었으며, 결정보다 정보 탐색, 탐색 깊이, 자신감을 측정하였다.

Figure 1. \sysname is a multi-agent conversational system designed to support online decision-making in unfamiliar domains. In \sysname , the user can converse with any selected set of agents (2) in the conversation space (1) to gather sufficient information about the domain, and use the criteria an

실험 결과

연구 질문

• RQ1 사용자가 기존 웹 검색이나 단일 에이전트 보조자에 의존할 때 낯선 온라인 결정보다 경험하는 방식은 어떻게 되는가?
• RQ2 다중 에이전트 대화 시스템이 사용자가 낯선 도메인에서 정보를 탐색하고 탐색하며 관리하는 데 얼마나 기여하는가?
• RQ3 사용자는 다중 에이전트 상호작용—특히 에이전트 간 대화와 의견 교환—을 어떻게 활용하여 더 나은 결정보다를 내리는가?
• RQ4 요약 바와 프로필 카드는 사용자가 결정보다 동안 선호도를 추적하고 개선하는 데 어떤 역할을 하는가?

주요 결과

• sysname 조건에 속한 사용자들은 웹 검색 및 단일 에이전트 조건보다 결정에 대해 훨씬 더 높은 자신감을 보고했다.
• 다중 에이전트 시스템은 옵션과 기준에 대한 더 깊은 탐색을 가능하게 하였으며, 기준 조건보다 더 다양한 시각을 발견하고 논의하는 데서 뛰어난 성능을 보였다.
• 참가자들은 에이전트 간 대화를 활발히 활용하여 옵션을 비교하고 대비하였으며, 에이전트를 이성적이고 의견이 뚜렷한 통찰의 원천으로 간주하였다.
• 요약 바와 프로필 카드는 다수의 기준과 옵션을 관리할 때 특히 사용자들이 정보를 추적하고 정리하는 데 핵심적인 역할을 하였다.
• 사용자들은 더 풍부하고 다중 모달 콘텐츠(예: 식물이나 카메라의 이미지)를 원하며 현재 시스템 기능의 격차를 드러냈다.
• 연구는 에이전트의 의견 강도와 환상적 정보 생성의 잠재적 한계를 드러내었으며, 향후 개선을 위해 RAG와 같은 사실 확인 파이프라인의 필요성을 시사한다.

Figure 2. The \sysname interface: Agents populate the conversation space to converse with the user, identifying key criteria and options in their utterances (1). The Summary Bar lists those criteria and options (2), additionally showing the user profile. Thought Bubbles recommend the user questions