[論文レビュー] ChoiceMates: Supporting Unfamiliar Online Decision-Making with Multi-Agent Conversational Interactions

Jeongeon Park, Bryan Min+4 more|arXiv (Cornell University)|Oct 2, 2023

Personal Information Management and User Behavior被引用数 5

ひとこと要約

ChoiceMates (sysname) は、LLM駆動のキャラクター特性を持つエージェントを用いて、ユーザーが不慣れなオンライン意思決定を行うのを支援するマルチエージェント対話型システムである。エージェント同士およびユーザーとの間で動的な意見の交換が可能となり、意思決定の信頼性が向上する。被験者間比較研究（n=36）において、sysnameはウェブ検索および単一エージェントベースラインを上回り、情報の発見・探索・管理において高い意思決定の自信をもたらした。

ABSTRACT

From deciding on a PhD program to buying a new camera, unfamiliar decisions--decisions without domain knowledge--are frequent and significant. The complexity and uncertainty of such decisions demand unique approaches to information seeking, understanding, and decision-making. Our formative study highlights that users want to start by discovering broad and relevant domain information evenly and simultaneously, quickly address emerging inquiries, and gain personalized standards to assess information found. We present ChoiceMates, an interactive multi-agent system designed to address these needs by enabling users to engage with a dynamic set of LLM agents each presenting a unique experience in the domain. Unlike existing multi-agent systems that automate tasks with agents, the user orchestrates agents to assist their decision-making process. Our user evaluation (n=12) shows that ChoiceMates enables a more confident, satisfactory decision-making with better situation understanding than web search, and higher decision quality and confidence than a commercial multi-agent framework. This work provides insights into designing a more controllable and collaborative multi-agent system.

研究の動機と目的

• ユーザーが分野知識に乏しく、認知的負荷が高いために不慣れなオンライン意思決定に直面する課題に対処すること。
• マルチエージェント対話型システムが、不慣れな分野における情報発見、探索の深さ、意思決定の自信をどのように向上させるかを調査すること。
• ユーザーが基準を特定し、選択肢を評価し、好みを管理するのを支援するシステムを設計・評価すること。
• 偏りや不完全な情報源に依存するのを減らすために、多様で意見のある、文脈を豊かに含む視点を提供すること。

提案手法

• sysname は、各エージェントに独自のキャラクター特性（例：専門家、初心者、愛好家）を割り当てた動的でLLM駆動のエージェント集合を採用し、意思決定分野における多様な視点を模倣する。
• エージェントとユーザーの間でリアルタイムの会話が可能であり、自動抽出された基準と選択肢が要約バーに表示され、重要な情報を追跡できる。
• ユーザーは重要な基準や選択肢をプロフィールカードにピン留めして、好みを時間とともに構築・洗練できる。
• インターフェースは、複数回のやり取りと自然言語対話に対応しており、エージェントはユーザーの質問に応えるだけでなく、互いに選択肢を議論・対比する。
• 誤った情報（ホールーシネーション）を減らすために、ウェブクロールされた事実データを統合しているが、画像や動画などのマルチモーダルコンテンツはまだ統合していない。
• 被験者間比較のユーザー研究により、sysname とウェブ検索、および単一エージェント条件を比較し、意思決定における情報発見、深さ、自信を測定した。

Figure 1. \sysname is a multi-agent conversational system designed to support online decision-making in unfamiliar domains. In \sysname , the user can converse with any selected set of agents (2) in the conversation space (1) to gather sufficient information about the domain, and use the criteria an

実験結果

リサーチクエスチョン

• RQ1 ユーザーが従来のウェブ検索や単一エージェントアシスタントに依存する場合、不慣れなオンライン意思決定においてどのような体験をするか？
• RQ2 マルチエージェント対話型システムは、ユーザーが不慣れな分野において情報発見・探索・管理の能力をどの程度向上させるか？
• RQ3 ユーザーは、特にエージェント同士の会話と意見交換をどのように活用して、より良い意思決定を行うか？
• RQ4 要約バーとプロフィールカードは、意思決定の過程でユーザーの好みを追跡・洗練させるのにどのような役割を果たすか？

主な発見

• sysname 条件のユーザーは、ウェブ検索および単一エージェント条件と比較して、意思決定に対する自信が有意に高かった。
• マルチエージェントシステムにより、選択肢や基準のより深い探索が可能となり、ベースライン条件と比較して多様な視点を発見・議論することができた。
• 参加者は、エージェント同士の会話を積極的に活用して選択肢を比較・対比し、エージェントを根拠に基づいた意見のある知見の源として扱った。
• 要約バーとプロフィールカードは、複数の基準や選択肢を管理する際、情報の追跡と整理を支援する上で極めて有効であった。
• ユーザーは、植物やカメラの画像などのより豊かなマルチモーダルコンテンツを望んでおり、現在のシステム機能におけるギャップを示している。
• 研究では、エージェントの意見の強さやホールーシネーションの可能性に限界が見られ、今後のバージョンではRAGのような事実確認パイプラインの導入が求められることが明らかになった。

Figure 2. The \sysname interface: Agents populate the conversation space to converse with the user, identifying key criteria and options in their utterances (1). The Summary Bar lists those criteria and options (2), additionally showing the user profile. Thought Bubbles recommend the user questions