[论文解读] Alexa, Let's Work Together: Introducing the First Alexa Prize TaskBot Challenge on Conversational Task Assistance

Anna Gottardi, Osman İpek+28 more|arXiv (Cornell University)|Sep 13, 2022

AI in Service Interactions被引用 10

一句话总结

本文介绍了 Alexa Prize TaskBot 挑战赛，这是首个大规模竞赛，旨在开发多模态对话代理，通过语音和视觉界面协助用户完成现实世界中的烹饪和 DIY 任务。本文介绍了用于快速开发的 CoBot 工具包，报告了参赛团队在对话管理与多模态交互方面的创新，并展示了该挑战赛第一年用户参与度和满意度的显著成果。

ABSTRACT

Since its inception in 2016, the Alexa Prize program has enabled hundreds of university students to explore and compete to develop conversational agents through the SocialBot Grand Challenge. The goal of the challenge is to build agents capable of conversing coherently and engagingly with humans on popular topics for 20 minutes, while achieving an average rating of at least 4.0/5.0. However, as conversational agents attempt to assist users with increasingly complex tasks, new conversational AI techniques and evaluation platforms are needed. The Alexa Prize TaskBot challenge, established in 2021, builds on the success of the SocialBot challenge by introducing the requirements of interactively assisting humans with real-world Cooking and Do-It-Yourself tasks, while making use of both voice and visual modalities. This challenge requires the TaskBots to identify and understand the user's need, identify and integrate task and domain knowledge into the interaction, and develop new ways of engaging the user without distracting them from the task at hand, among other challenges. This paper provides an overview of the TaskBot challenge, describes the infrastructure support provided to the teams with the CoBot Toolkit, and summarizes the approaches the participating teams took to overcome the research challenges. Finally, it analyzes the performance of the competing TaskBots during the first year of the competition.

研究动机与目标

• 通过创建能主动协助用户完成现实世界任务的代理，推动对话式 AI 超越闲聊。
• 解决在多模态环境下面向任务导向对话代理的训练数据和评估框架缺乏的问题。
• 通过 CoBot 工具包开发可扩展的基础设施，支持大学团队构建和部署多模态 TaskBot。
• 评估 TaskBot 在复杂多步骤任务中保持有益、吸引人且连贯互动的有效性。
• 通过实际部署和反馈收集，理解用户在现实世界任务协助场景中的行为和交互模式。

提出的方法

• TaskBot 挑战赛在 Alexa 平台上启动，用户可通过多模态 Alexa 设备实现语音和视觉交互。
• 发布了 CoBot 工具包的新版本，扩展了先前工具的功能，增加了对任务规划、知识对齐和多模态对话管理的支持。
• 各支团队使用 CoBot 工具包开发 TaskBot，以应对烹饪和 DIY 领域的用户需求，整合领域知识并跟踪任务进度。
• 用户交互通过向亚马逊员工及公众的实时部署收集，反馈通过口头评分和任务完成提示收集。
• 评估过程包括初赛、半决赛和决赛，通过迭代式反馈回路优化机器人性能。
• 与团队分享了多模态设计最佳实践，强调以语音为主导的交互，辅以提示、触摸和 APL 模板的视觉支持。

实验结果

研究问题

• RQ1 如何设计对话代理，以有效协助用户完成如烹饪和 DIY 项目等复杂多步骤现实任务？
• RQ2 在整合语音、视觉和触觉交互方面，构建多模态任务助手面临的关键挑战是什么？
• RQ3 用户在探索性与目标导向性场景下如何与任务助手互动，系统如何适应这两种情境？
• RQ4 哪些设计模式和交互策略能最大化多模态任务协助中的用户参与度和任务完成率？
• RQ5 对话系统如何在管理动态任务状态和用户中断的同时，保持连贯性和上下文一致性？

主要发现

• 在搜索和执行阶段，对话轮次的平均数量分别为 5.83 和 5.50，表明尽管任务复杂，交互长度仍属中等。
• 用户经常探索 TaskBot 的功能，而非预先设定明确任务，因此团队需支持发现与探索，而不仅限于严格的任务执行。
• 使用视觉提示和信息渐进式披露显著提升了用户导航效率和任务理解能力。
• 整合用户评分和任务步骤预估时长的团队，用户满意度和任务清晰度感知更高。
• 挑战赛决赛阶段展示了出色的对话连贯性和任务协助表现，多个机器人实现了高用户参与度和完成率。
• CoBot 工具包成功降低了工程负担，使团队能够专注于对话管理与知识对齐方面的核心 AI 创新。