[论文解读] EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL

Thomas Carta, Pierre‐Yves Oudeyer+2 more|arXiv (Cornell University)|Jun 20, 2022

Topic Modeling被引用 5

一句话总结

本文提出 EAGER，一种基于语言的强化学习方法，通过从自然语言目标自动生成问题（QG）和问题回答（QA），自动构建辅助目标。通过奖励智能体对其基于轨迹部分信息生成的问题做出自信回答，EAGER 在无需人工干预的情况下塑造内在奖励，在稀疏奖励、长时序任务中提升了样本效率。

ABSTRACT

Reinforcement learning (RL) in long horizon and sparse reward tasks is notoriously difficult and requires a lot of training steps. A standard solution to speed up the process is to leverage additional reward signals, shaping it to better guide the learning process. In the context of language-conditioned RL, the abstraction and generalisation properties of the language input provide opportunities for more efficient ways of shaping the reward. In this paper, we leverage this idea and propose an automated reward shaping method where the agent extracts auxiliary objectives from the general language goal. These auxiliary objectives use a question generation (QG) and question answering (QA) system: they consist of questions leading the agent to try to reconstruct partial information about the global goal using its own trajectory. When it succeeds, it receives an intrinsic reward proportional to its confidence in its answer. This incentivizes the agent to generate trajectories which unambiguously explain various aspects of the general language goal. Our experimental study shows that this approach, which does not require engineer intervention to design the auxiliary objectives, improves sample efficiency by effectively directing exploration.

研究动机与目标

• 解决在长时序、稀疏奖励环境中语言条件强化学习的样本效率低下问题。
• 消除在语言引导的强化学习中对专家设计的辅助目标或奖励塑造的依赖。
• 使智能体能够通过从自然语言指令中生成问题，自主生成有意义的子目标。
• 通过基于对自生成问题回答置信度的内在奖励，提升探索与学习效率。
• 开发一种无需参考标准、自动化的奖励塑造机制，其灵感源自自然语言处理中的问答评估指标。

提出的方法

• 智能体使用问题生成（QG）模块，通过遮蔽初始语言目标中的词语来生成问题。
• 问题回答（QA）模块尝试仅基于智能体当前的轨迹来回答每个问题，答案基于观测到的状态序列生成。
• 智能体根据其对正确答案的置信度获得与之成比例的内在奖励，其中包含“无答案”选项以避免误报。
• QA 模块在成功轨迹的数据集上进行预训练，以学习回答关于部分目标信息的问题。
• 该方法通过自生成问题的课程化设计，引导探索朝向那些能明确重构语言目标关键要素的轨迹。
• 只要 QA 成功率超过 0.56，该方法对 QA 性能具有鲁棒性，且 QA 越可靠，学习效果越优。

实验结果

研究问题

• RQ1 智能体能否在无需专家输入的情况下，从自然语言目标自动生成有用的辅助目标？
• RQ2 由自生成 QA 形成的内在奖励在语言引导的强化学习中如何提升样本效率？
• RQ3 QA 可靠性对 EAGER 框架性能有何影响？
• RQ4 QA 模块中的设计选择（如“无答案”选项和基于置信度的奖励）如何影响学习效率？
• RQ5 EAGER 在具有不同轨迹分布和 QA 质量的环境中是否具备泛化能力？

主要发现

• EAGER 通过允许智能体利用自生成问题和基于置信度的回答来塑造内在奖励，显著提升了语言引导强化学习的样本效率。
• 当 QA 模块成功率高于 0.56 时，该方法实现更快的学习，且在不同 QA 性能水平下，训练曲线均趋于稳定。
• 采用“无答案”选项和基于置信度奖励的 QA 模块训练出的智能体，其样本效率显著优于二元或非置信度奖励基线。
• 在包含噪声的广泛轨迹分布上进行训练，比在狭窄、确定性的轨迹分布上训练能实现更快的学习。
• 消融实验证实，“无答案”机制和基于置信度的奖励均能独立提升学习速度与稳定性。
• 即使 QA 性能未达最优，该框架依然有效，表明其对不完美问答系统的鲁棒性。