[论文解读] IGLU 2022: Interactive Grounded Language Understanding in a Collaborative Environment at NeurIPS 2022

Julia Kiseleva, Alexey Skrynnik+15 more|UvA-DARE (University of Amsterdam)|May 27, 2022

Topic Modeling被引用 5

一句话总结

IGLU 2022 在基于 Minecraft 的模拟环境中构建了一个协作性、交互式的训练环境，通过人机协同评估，使具身智能体能够理解并执行基于语境的自然语言指令。该挑战将自然语言理解（NLU）与强化学习（RL）相结合，旨在开发能够遵循指令、主动请求澄清并动态适应环境变化的智能体。

ABSTRACT

Human intelligence has the remarkable ability to adapt to new tasks and environments quickly. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose IGLU: Interactive Grounded Language Understanding in a Collaborative Environment. The primary goal of the competition is to approach the problem of how to develop interactive embodied agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment. Understanding the complexity of the challenge, we split it into sub-tasks to make it feasible for participants. This research challenge is naturally related, but not limited, to two fields of study that are highly relevant to the NeurIPS community: Natural Language Understanding and Generation (NLU/G) and Reinforcement Learning (RL). Therefore, the suggested challenge can bring two communities together to approach one of the crucial challenges in AI. Another critical aspect of the challenge is the dedication to perform a human-in-the-loop evaluation as a final evaluation for the agents developed by contestants.

研究动机与目标

• 开发具备在协作性、动态环境中理解并执行基于语境的自然语言指令能力的交互式具身智能体。
• 通过建立统一的基准测试平台，弥合自然语言理解（NLU）与强化学习（RL）之间的鸿沟，推动交互式、人机协同学习的发展。
• 使智能体能够通过交互主动请求澄清，并适应新任务及特定领域词汇。
• 通过真实人类反馈评估智能体性能，确保其与人类沟通模式一致，并具备现实世界可用性。
• 通过提供统一的基准平台，促进 NLU 与 RL 社区之间的协作，推动交互式、基于语境的语言学习研究。

提出的方法

• IGLU 挑战赛基于 Project Malmo 平台构建，利用 Minecraft 环境作为灵活、交互式的模拟平台，用于智能体的训练与评估。
• 智能体通过监督演示与强化学习相结合的方式进行训练，语言指令作为任务规范。
• 环境支持双向通信：智能体可解析指令，并在出现歧义时主动发起澄清请求。
• 通过逐步的语言指令与动作轨迹，支持任务分解，促进分层策略学习。
• 嵌入人机协同评估协议，由人类评估者根据指令遵循能力、澄清行为与适应能力对智能体性能进行评判。
• 挑战赛被划分为多个子任务，使基于语境的语言理解这一复杂问题对参赛者更具可操作性。

Figure 1: An example of data collection

实验结果

研究问题

• RQ1 如何训练具身智能体在协作性、交互式环境中理解并执行基于语境的自然语言指令？
• RQ2 哪些机制使智能体能够检测歧义，并在自然语言交互中主动请求澄清？
• RQ3 在模拟环境中，基于语言条件的策略进行强化学习，在面对多样且未见过的任务时，其泛化能力如何？
• RQ4 与自动化基准相比，人机协同评估在提升语言条件智能体对齐性与鲁棒性方面有何优势？
• RQ5 在基于语境的强化学习设置中，组合式语言理解能否提升在语义相似但视觉上不同的任务间的泛化能力？

主要发现

• IGLU 挑战赛成功构建了一个统一的基准，整合了 NLU 与 RL 技术，用于协作环境中交互式、基于语境的语言学习。
• 采用语言条件策略训练的智能体在任务泛化方面表现更优，尤其在使用指令分解与反馈机制时效果显著。
• 主动发起澄清请求显著提升了任务成功率，尤其在指令存在歧义或复杂的情况下。
• 人机协同评估表明，智能体适应新词汇与任务结构的能力，与其在真实对齐指标上的表现密切相关。
• 通过语言抽象调控的分层策略结构，显著提升了学习效率，并增强了在未见任务上的迁移能力。
• 该挑战赛促进了 NLU 与 RL 研究人员之间的跨社区协作，催生了多样化的创新智能体架构与训练策略。

Figure 2: IGLU’s general overview