[論文レビュー] Different but Equal: Comparing User Collaboration with Digital Personal Assistants vs. Teams of Expert Agents

Cláudio Pinhanez, Heloísa Candello+5 more|arXiv (Cornell University)|Jan 1, 2018

AI in Service Interactions参考文献 45被引用数 4

ひとこと要約

本研究では、同一の会話的内容を用いて、1人のデジタル個人アシスタントとのユーザー協働と、専門家チャットボットのチームとの協働を比較した。結果として、タスクの達成度や協働コストに有意差はなく、両方の設定においてユーザーはアシスタントの行動を同程度に予測できた。これは、人間とエージェントの協働において、両モデルが同等に実行可能であることを示唆している。

ABSTRACT

This work compares user collaboration with conversational personal assistants vs. teams of expert chatbots. Two studies were performed to investigate whether each approach affects accomplishment of tasks and collaboration costs. Participants interacted with two equivalent financial advice chatbot systems, one composed of a single conversational adviser and the other based on a team of four experts chatbots. Results indicated that users had different forms of experiences but were equally able to achieve their goals. Contrary to the expected, there were evidences that in the teamwork situation that users were more able to predict agent behavior better and did not have an overhead to maintain common ground, indicating similar collaboration costs. The results point towards the feasibility of either of the two approaches for user collaboration with conversational agents.

研究の動機と目的

• ユーザーが専門家チャットボットのチームと協働する場合と、1人の個人アシスタントと協働する場合との間で、タスク達成度と協働コストに差が生じるかどうかを調査すること。
• チーム・オブ・エキスパートモデルが、個人アシスタントモデルに比べて認知的負荷や調整負荷が高くなるかどうかを検討すること。
• 両者のインタラクション・パラダイムにおいて、ユーザーがアシスタント行動の類似した心的モデルを形成できるかどうかを評価すること。
• 現実世界のタスク文脈における、マルチボット会話システムと集中型個人アシスタントの両者における実現可能性とユーザーエクスペリエンスを評価すること。

提案手法

• 同一の会話的内容を用いた2つの制御されたユーザースタディを実施し、一方のバージョンではすべての応答が1人の個人チャットボットからのものとして提示され、他方では4つの別個の専門家チャットボットの応答が共有チャット内に表示された。
• 研究で使用された金融アドバイスシステムは、既存のマルチエキスパートシステム（finch）を変更して作成され、個人アシスタント版は4つの専門家ボットのインターフェースを統合して1つのエージェントの外観にした。
• 参加者は、WhatsAppに類似したチャットベースの環境で金融アドバイスタスクを実行し、両システムが同一の発話と行動を示すようにして、インターフェース構造の影響を明確に分離した。
• 協働コストは、ユーザーが報告した作業負荷、アシスタント行動の予測精度、会話における共通の文脈維持の観点から測定された。
• クラークの共同活動理論およびクラインらの理論的枠組みを用いて、2つのモデル間の協働ダイナミクスの差異を分析した。

実験結果

リサーチクエスチョン

• RQ1 専門家チャットボットのチームと協働することは、1人の個人アシスタントと協働する場合よりも高い協働コストをもたらすか？
• RQ2 チーム・オブ・エキスパート設定と個人アシスタント設定の両方において、ユーザーは同等の能力でアシスタント行動を予測できるか？
• RQ3 2つのインタラクション・モデル間で、ユーザーのアシスタント役割および行動に関する心的モデルはどのように異なるか？
• RQ4 チーム・オブ・エキスパートモデルは、調整の複雑さによりタスク達成率が低下するのか？

主な発見

• ユーザーは、個人アシスタント設定とチーム・オブ・エキスパート設定の両方において、同等の成功確率で金融アドバイスの目標を達成した。これは、両モデル間にパフォーマンスの差がないことを示している。
• 参加者は、専門家チャットボットのチームと協働する際、予想に反して協働コストに顕著な増加を報告しなかった。これは、マルチエージェント対話がより負担が大きいと予想されるが、実際にはそうではなかったことを示している。
• 両設定において、ユーザーはアシスタント行動の予測能力に同等の水準を示した。これは、心的モデルの明確さと予測可能性が同程度であることを示唆している。
• チーム・オブ・エキスパートモデルでは、共通の文脈を維持するために追加の努力が不要であった。これは、エージェント間の調整がユーザーに追加の認知的負荷を負担しなかったことを示している。
• 複数のエージェントを管理するという認識上の複雑さにもかかわらず、研究期間中、ユーザーはマルチボット条件でより高い認知的負担を報告しなかった。
• これらの結果は、マルチボットチャットシステムが、透明性、ユーザーの制御、権力の集中の低減といった利点を考慮すると、個人アシスタントの代替案として実行可能であることを示唆している。