[论文解读] Laying Down the Yellow Brick Road: Development of a Wizard-of-Oz Interface for Collecting Human-Robot Dialogue

Claire Bonial, Matthew Marge+12 more|arXiv (Cornell University)|Oct 17, 2017

Social Robot Interaction and HRI被引用 9

一句话总结

本文提出了一种定制化的沃兹（Wizard-of-Oz, WoZ）界面，用于在远程、物理情境化的导航任务中收集自然的人机对话。通过使用带有预定义话语模板的图形化界面，该系统实现了更快、更自然的对话节奏，并实现了较强的领域覆盖，证明了其在训练人机协作场景下自动化对话系统方面的可行性。

ABSTRACT

We describe the adaptation and refinement of a graphical user interface designed to facilitate a Wizard-of-Oz (WoZ) approach to collecting human-robot dialogue data. The data collected will be used to develop a dialogue system for robot navigation. Building on an interface previously used in the development of dialogue systems for virtual agents and video playback, we add templates with open parameters which allow the wizard to quickly produce a wide variety of utterances. Our research demonstrates that this approach to data collection is viable as an intermediate step in developing a dialogue system for physical robots in remote locations from their users - a domain in which the human and robot need to regularly verify and update a shared understanding of the physical environment. We show that our WoZ interface and the fixed set of utterances and templates therein provide for a natural pace of dialogue with good coverage of the navigation domain.

研究动机与目标

• 开发一种可扩展、用户友好的沃兹（Wizard-of-Oz）界面，用于在远程、物理情境化的任务中收集人机对话数据。
• 通过捕捉机器人导航情境中的自然语言模式，支持自动化对话系统的训练。
• 通过结构化、基于模板的回复生成，提升对话节奏并减轻操作员的认知负荷。
• 验证该界面在不同用户策略下，能否有效引出一致且覆盖全面的对话表达。
• 为从人工操作的数据采集向自动化对话管理与机器人导航规划提供过渡路径。

提出的方法

• 采用双操作员设置：对话管理操作员（DM-Wizard）负责生成回复，机器人导航操作员（RN-Wizard）负责控制机器人物理移动。
• DM-Wizard 使用带有固定话语模板的图形化界面，以实现对导航指令和反馈的快速、一致的回复生成。
• 模板支持开放参数（如距离、物体名称等），以实现对多样化导航指令的泛化。
• 基于试点试验对界面进行迭代优化，以提升可用性和对话流畅性。
• 在两种条件下收集了人类参与者通过房屋状环境远程指导机器人完成任务的数据：自由回复模式与GUI结构化回复模式。
• 系统使用完成反馈（如“完成”、“已发送”）作为对话节奏和任务进度的代理指标。

实验结果

研究问题

• RQ1 带有模板化回复的WoZ界面是否能支持在远程人机交互中实现更快、更自然的对话节奏？
• RQ2 固定模板集合是否足以覆盖物理情境化领域中多样的导航相关话语？
• RQ3 与自由回复模式相比，该结构化界面在对话一致性和参与者任务表现方面有何差异？
• RQ4 在保持高质量、自然语音对话的同时，操作员的认知负荷能在多大程度上降低？
• RQ5 通过该WoZ设置收集的数据是否能有效用于训练机器人导航的自动化对话系统？

主要发现

• 在实验2中，GUI结构化回复模式产生了1069次完成反馈，高于实验1的829次，表明对话节奏更快，任务吞吐量更高。
• 实验2中的参与者因操作员能快速且一致地使用模板回复，从而展开了更自然的轮流对话。
• 该界面成功适应了多样的用户策略，对开放式指令（如“向前移动”）通过参数化模板实现了稳定一致的响应。
• 模板的使用降低了歧义性，提升了回复的清晰度，减少了参与者重复澄清的需求。
• 收集的数据展示了对导航领域的强覆盖，包括移动、物体搜索和反馈沟通等。
• 该界面在支持从人工操作的数据采集向自动化对话系统开发的过渡方面表现有效。