[论文解读] Hierarchical Decision Making by Generating and Following Natural Language Instructions
本文提出了一种分层决策框架，使用自然语言作为潜在计划，以协调实时战略游戏中复杂且长时程的动作。通过生成并遵循类人的指令，该模型在性能上优于直接行为克隆方法，表明语言的组合结构能够实现更有效且可泛化的多智能体系统控制。
We explore using latent natural language instructions as an expressive and compositional representation of complex actions for hierarchical decision making. Rather than directly selecting micro-actions, our agent first generates a latent plan in natural language, which is then executed by a separate model. We introduce a challenging real-time strategy game environment in which the actions of a large number of units must be coordinated across long time scales. We gather a dataset of 76 thousand pairs of instructions and executions from human play, and train instructor and executor models. Experiments show that models using natural language as a latent variable significantly outperform models that directly imitate human actions. The compositional structure of language proves crucial to its effectiveness for action representation. We also release our code, models and data.
研究动机与目标
- 通过将复杂动作表示为自然语言指令，实现在长时程、多智能体环境中的分层决策。
- 探究自然语言是否可作为比直接动作序列更具表现力和组合性的表示方式，用于策略学习。
- 开发并评估一种两阶段框架，其中指导模型生成指令，执行模型执行指令，从而提升泛化能力和样本效率。
- 收集并发布一个大规模数据集，包含76,000个由人类生成的指令-执行配对，用于训练与评估。
提出的方法
- 该框架采用两阶段架构：指导模型生成自然语言指令，独立的执行模型则解释并执行这些指令。
- 指导模型经过训练，能够生成描述多步骤目标的高层级、组合式指令。
- 执行模型经过训练，能够将指令映射为可执行动作，学习理解语言结构。
- 该方法在一种定制的实时战略游戏环境中进行评估，该环境要求在长时间尺度上协调大量单位。
- 收集了一个包含76,000个由人类玩家生成的指令-执行配对的数据集，用于监督指导模型和执行模型的训练。
- 该方法利用语言的组合特性，实现对未见过的任务结构的泛化，并提升零样本迁移能力。
实验结果
研究问题
- RQ1自然语言能否作为复杂、长时程环境中分层决策的有效且组合性的潜在表示？
- RQ2在多智能体协调任务中，生成并遵循自然语言指令是否能带来优于直接模仿人类动作的性能？
- RQ3语言的组合结构如何促进策略学习中的泛化能力和样本效率？
- RQ4独立的执行模型在多大程度上能泛化到训练期间未见过的新指令？
主要发现
- 使用自然语言作为潜在变量的模型在多智能体协调任务中显著优于直接行为克隆基线模型。
- 语言的组合结构使模型能够更好地泛化到未见过的任务组合结构和更长时程的规划。
- 指导-执行框架提升了样本效率，并实现了对新型指令类型的零样本迁移。
- 包含76,000个指令-执行配对的人工标注数据集，为两阶段系统的有效训练与评估提供了支持。
- 执行模型通过利用语义和句法结构，对新指令实现泛化，表现出对分布偏移的鲁棒性。
- 与端到端动作模仿相比，该方法在长时程实时战略游戏中的表现更优。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。