[论文解读] ELLA: Exploration through Learned Language Abstraction

Suvir Mirchandani, Siddharth Karamcheti+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 46被引用 8

一句话总结

ELLA 是一种奖励塑形方法，通过在线相关性分类和离线终止分类，学习识别与语言基础强化学习中稀疏奖励相关的低层次子任务，从而提升样本效率。它通过为完成有用子任务提供辅助奖励，在不依赖预定义层次指令分解的情况下，提升了复杂 BabyAI 任务的性能。

ABSTRACT

Building agents capable of understanding language instructions is critical to effective and robust human-AI collaboration. Recent work focuses on training these agents via reinforcement learning in environments with synthetic language; however, instructions often define long-horizon, sparse-reward tasks, and learning policies requires many episodes of experience. We introduce ELLA: Exploration through Learned Language Abstraction, a reward shaping approach geared towards boosting sample efficiency in sparse reward environments by correlating high-level instructions with simpler low-level constituents. ELLA has two key elements: 1) A termination classifier that identifies when agents complete low-level instructions, and 2) A relevance classifier that correlates low-level instructions with success on high-level tasks. We learn the termination classifier offline from pairs of instructions and terminal states. Notably, in departure from prior work in language and abstraction, we learn the relevance classifier online, without relying on an explicit decomposition of high-level instructions to low-level instructions. On a suite of complex BabyAI environments with varying instruction complexities and reward sparsity, ELLA shows gains in sample efficiency relative to language-based shaping and traditional RL methods.

研究动机与目标

• 提升在稀疏奖励、长时程语言指令任务中具身智能体的样本效率。
• 通过在策略学习过程中识别并奖励相关低层次行为，实现高效探索。
• 避免对高层指令严格预定义的层次分解的依赖。
• 在线学习低层次动作与高层任务之间的相关性，无需专家提供的子任务序列。
• 在复杂、组合式语言指令环境中提升泛化能力和鲁棒性。

提出的方法

• 使用标注的低层次指令与终止状态配对，在离线阶段训练终止分类器，以检测子任务完成情况。
• 在线学习相关性分类器，识别哪些低层次子任务对高层任务成功具有预测性。
• 利用相关性分类器，在策略训练期间根据子任务完成情况动态分配辅助奖励。
• 通过超参数 λ 制定奖励塑形损失，平衡内在奖励与塑形奖励，确保策略不变性。
• 从成功轨迹中在线收集经验，使用去重技术减少噪声，实时训练相关性分类器。
• 将相关性分类器与标准强化学习算法（如 PPO）集成，基于子任务相关性进行奖励塑形。

实验结果

研究问题

• RQ1 在线学习子任务相关性是否能提升稀疏奖励语言指令任务中的样本效率？
• RQ2 ELLA 方法在学习速度和最终性能方面与传统强化学习及语言基础塑形基线相比如何？
• RQ3 ELLA 在复杂环境中对多样化、组合式语言指令的泛化能力如何？
• RQ4 ELLA 的性能对塑形超参数 λ 的选择有多敏感？
• RQ5 ELLA 是否能在不依赖高层指令显式层次分解的情况下学习有意义的抽象？

主要发现

• ELLA 在多个 BabyAI 环境中实现了显著的样本效率提升，包括 PutNext、Unlock、Combo、Open&Pick 和 Sequence 任务。
• 在 PutNext-Maze 和 Sequence-Maze 中，ELLA 随时间减少了每个高层指令的子任务数量，表明其子任务分解估计能力得到改善。
• 相关性分类器在 PutNext-Maze 上达到高验证准确率，证明其有效学习了与任务相关的抽象。
• 在 PutNext、Unlock 和 Combo 任务中，λ = 0.25 时学习稳定；在 Open&Pick 和 Sequence 等长时程任务中，λ = 0.5 时表现更优。
• 性能提升在指令复杂度适中的环境中最为显著，而高度多样化和组合式的指令（如 Sequence-Maze）仍因数据稀疏性而具挑战性。
• 消融研究显示，终止分类器需要每项低层次任务约 15K 个正负样本对才能实现有效性能，且在低数据环境下数据效率仍为限制因素。