[论文解读] Adapting Behaviour via Intrinsic Reward: A Survey and Empirical Study

Cam Linke, Nadia M. Ady+3 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics参考文献 79被引用 9

一句话总结

本文提出了一种基于学习进度的内在奖励强化学习框架，通过使个体学习者具备内省能力（根据学习进度调整学习率），实现高效多预测学习。通过让学习者自我调节学习率，简单的内在奖励（如权重变化）优于复杂的替代方案，从而在稀疏奖励环境中实现有效探索与稳定学习，且超参数调优需求极低。

ABSTRACT

Learning about many things can provide numerous benefits to a reinforcement learning system. For example, learning many auxiliary value functions, in addition to optimizing the environmental reward, appears to improve both exploration and representation learning. The question we tackle in this paper is how to sculpt the stream of experience---how to adapt the learning system's behavior---to optimize the learning of a collection of value functions. A simple answer is to compute an intrinsic reward based on the statistics of each auxiliary learner, and use reinforcement learning to maximize that intrinsic reward. Unfortunately, implementing this simple idea has proven difficult, and thus has been the focus of decades of study. It remains unclear which of the many possible measures of learning would work well in a parallel learning setting where environmental reward is extremely sparse or absent. In this paper, we investigate and compare different intrinsic reward mechanisms in a new bandit-like parallel-learning testbed. We discuss the interaction between reward and prediction learners and highlight the importance of introspective prediction learners: those that increase their rate of learning when progress is possible, and decrease when it is not. We provide a comprehensive empirical comparison of 14 different rewards, including well-known ideas from reinforcement learning and active learning. Our results highlight a simple but seemingly powerful principle: intrinsic rewards based on the amount of learning can generate useful behavior, if each individual learner is introspective.

研究动机与目标

• 研究内在奖励如何在环境奖励稀疏或缺失的多预测强化学习设置中引导智能体行为。
• 评估在共享经验的并行学习设置中，各种内在奖励机制的有效性。
• 确定具备内省能力的学习者（即根据学习进度自我调节学习率的学习者）是否能提升内在奖励系统的表现。
• 开发并验证一种新型类似多臂赌博机的基准测试环境，用于测试多预测场景下的内在奖励机制。
• 挑战复杂内在奖励为必需的假设，提出简单、无超参数的内在奖励在与内省学习者结合时同样有效。

提出的方法

• 将多预测学习建模为强化学习问题，其中智能体通过最大化源自辅助价值函数学习者学习进度的内在奖励来实现目标。
• 定义了14种不同的内在奖励机制，包括主动学习、好奇心和预测误差等知名概念的变体，适用于并行学习设置。
• 实现了一种新型类似多臂赌博机的测试平台，要求智能体避免噪声结果、跟踪非平稳动态，并寻求一致的学习进度。
• 采用随机行为策略以确保充分探索，同时利用内在奖励引导动作选择，以优化所有预测学习者的整体学习效率。
• 引入内省学习者概念：即根据是否正在取得学习进度，自主调整自身学习率，使用自适应优化方法（如Adam）。
• 在受控的实证研究中评估全部14种内在奖励，测量学习效率、稳定性，以及对诸如在噪声状态上拖延等退化行为的规避能力。

实验结果

研究问题

• RQ1 基于学习进度的简单内在奖励（如权重变化）是否能在多预测学习中超越更复杂的内在奖励机制？
• RQ2 个体学习者的内省能力（自我调节学习率）如何影响内在奖励系统的表现？
• RQ3 衡量学习进度的内在奖励是否能引导智能体在稀疏或延迟的外部奖励环境中表现出有效行为？
• RQ4 哪些内在奖励机制最能帮助智能体避免诸如在噪声或无信息结果上拖延等退化行为？
• RQ5 当与内省学习者结合时，简单、无超参数的内在奖励是否足以实现有效的多预测学习？

主要发现

• 基于学习量的内在奖励——特别是权重变化（Weight Change）——在基准测试中取得了最佳整体性能，优于更复杂的奖励机制。
• 内省学习者（即根据学习进度自我调节学习率的学习者）对于实现稳定且高效的学习至关重要；若无此类机制，即使简单的奖励也会导致退化行为。
• 权重变化内在奖励（通过更新前后网络权重的归一化差异衡量）在所有测试环境中均持续诱导出有益行为。
• 研究发现，复杂的内在奖励并不必然带来更好性能；相反，当与内省学习者结合时，简单、基于学习的奖励表现最佳。
• 该基准测试表明，当由反映实际学习进度的内在奖励引导时，智能体能够有效跟踪非平稳结果并避免噪声状态。
• 结果表明存在范式转变：与其设计复杂的内在奖励，未来工作应更关注提升基础学习者的内省能力。