[论文解读] Evaluating Visual Conversational Agents via Cooperative Human-AI Games

Prithvijit Chattopadhyay, Deshraj Jain+6 more|arXiv (Cornell University)|Aug 17, 2017

Ethics and Social Impacts of AI被引用 38

一句话总结

本文提出了 GuessWhich，一种协作式人机游戏，用于评估视觉对话智能体在真实人机协作中作为队友的表现，而非孤立地评估。研究发现，尽管在 AI-AI 设置中通过强化学习微调的智能体（Alice_RL）优于监督学习基线（Alice_SL），但在人机协作中并未提升团队表现，揭示了孤立的 AI 基准测试与真实世界人机交互之间存在关键脱节。

ABSTRACT

As AI continues to advance, human-AI teams are inevitable. However, progress in AI is routinely measured in isolation, without a human in the loop. It is crucial to benchmark progress in AI, not just in isolation, but also in terms of how it translates to helping humans perform certain tasks, i.e., the performance of human-AI teams. In this work, we design a cooperative game - GuessWhich - to measure human-AI team performance in the specific context of the AI being a visual conversational agent. GuessWhich involves live interaction between the human and the AI. The AI, which we call ALICE, is provided an image which is unseen by the human. Following a brief description of the image, the human questions ALICE about this secret image to identify it from a fixed pool of images. We measure performance of the human-ALICE team by the number of guesses it takes the human to correctly identify the secret image after a fixed number of dialog rounds with ALICE. We compare performance of the human-ALICE teams for two versions of ALICE. Our human studies suggest a counterintuitive trend - that while AI literature shows that one version outperforms the other when paired with an AI questioner bot, we find that this improvement in AI-AI performance does not translate to improved human-AI performance. This suggests a mismatch between benchmarking of AI in isolation and in the context of human-AI teams.

研究动机与目标

• 解决现有评估方法仅孤立评估视觉对话智能体，而未将其作为真实人机协作中队友的评估空白。
• 探究 AI-AI 性能指标的提升是否能转化为更好的人机协作团队成果。
• 设计一种基于游戏的评估框架，以捕捉实时、互动式人机协作的动态特性。
• 在受控的互动环境中，衡量不同 AI 训练范式（监督学习 vs. 强化学习）对人机协作团队表现的影响。

提出的方法

• 设计一款名为 GuessWhich 的协作游戏，人类通过提问与 AI 智能体（Alice）互动，从固定图像池中识别出隐藏图像。
• Alice 获得隐藏图像及其简要描述，而人类仅能看到描述，需通过对话识别出图像。
• 在亚马逊 Mechanical Turk 上开展人类实验，每位人类参与者与两个版本的 Alice（监督学习版 Alice_SL 和强化学习微调版 Alice_RL）各进行 10 场游戏。
• 通过在固定对话轮次后识别隐藏图像所需的猜测次数来衡量团队表现。
• 实施基于表现的激励机制与基础薪酬，以平衡用户参与度与公平性，减轻因工人对 AI 熟悉度带来的偏差。
• 采用后端架构支持在 AMT 上实现低延迟、有状态的实时互动对话会话。

实验结果

研究问题

• RQ1 在协作式图像识别任务中，通过强化学习微调的 AI 智能体（Alice_RL）是否优于监督学习基线（Alice_SL）？
• RQ2 AI-AI 性能指标的提升在多大程度上能转化为更好的人机协作团队表现？
• RQ3 在实时互动对话环境中，人类-智能体协作表现如何受智能体响应质量与一致性的调节？
• RQ4 在众包平台上设计公平、可扩展且具吸引力的人机交互评估框架面临哪些关键挑战？

主要发现

• 尽管在 AI-AI 评估中表现更优，但通过强化学习微调的智能体（Alice_RL）并未在 GuessWhich 游戏中提升人机协作团队表现。
• 使用 Alice_RL 的人类团队与使用 Alice_SL 的团队在识别隐藏图像所需的猜测次数上无显著差异，表明在人机协作中强化学习微调未带来可测量的优势。
• 尽管 Alice_RL 在 AI-AI 设置中准确率更高，但其回应对人类队友而言并未更具有信息量或更可靠，表明评估目标存在错配。
• 本研究揭示了孤立的 AI 基准测试与真实世界人机协作表现之间存在显著脱节，凸显了引入人类参与评估的必要性。
• 在 AMT 上实施的基于表现的激励机制因 AI 偶尔的不准确回应导致参与度挑战，这些错误有时误导人类玩家并引发游戏失败。
• 结果表明，当前的 AI 评估范式可能高估了先进训练技术在实际人机协作部署中的实用效益。