[论文解读] Efficient Online Estimation of Empowerment for Reinforcement Learning

Ruihan Zhao, Pieter Abbeel+1 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics参考文献 39被引用 5

一句话总结

该论文提出了一种高效的在线算法，通过使用神经网络将赋能（empowerment）重新表述为凸优化问题，显著降低了样本和计算复杂度。该方法无需领域特定知识或手动重置即可实现有效的内在动机，从而在真实环境中实现可扩展的训练。

ABSTRACT

Training artificial agents to acquire desired skills through model-free reinforcement learning (RL) depends heavily on domain-specific knowledge, and the ability to reset the system to desirable configurations for better reward signals. The former hinders generalization to new domains; the latter precludes training in real-life conditions because physical resets are not scalable. Recently, intrinsic motivation was proposed as an alternative objective to alleviate the first issue, but there has been no reasonable remedy for the second. In this work, we present an efficient online algorithm for a type of intrinsic motivation, known as empowerment, and address both limitations. Our method is distinguished by its significantly lower sample and computation complexity, along with improved training stability compared to the relevant state of the art. We achieve this superior efficiency by transforming the challenging empowerment computation into a convex optimization problem through neural networks. In simulations, our method manages to train policies with neither domain-specific knowledge nor manual intervention. To address the issue of resetting in RL, we further show that our approach boosts learning when there's no early termination. Our proposed method opens doors for studying intrinsic motivation for policy training and scaling up model-free RL training in real-life conditions.

研究动机与目标

• 解决在无模型强化学习（RL）中进行技能获取时需要领域特定知识的挑战。
• 通过在真实世界RL环境中实现无需提前终止或人工干预的训练，克服物理重置不切实际的问题。
• 通过赋能实现可扩展、样本高效的内在动机方法，以提升训练稳定性和泛化能力。
• 利用神经网络将复杂的赋能计算转化为凸优化问题，以提高效率。

提出的方法

• 通过利用策略和环境动态的神经网络参数化，将赋能计算重新表述为凸优化问题。
• 使用可微的神经网络架构估计最大可达状态分布，支持通过反向传播进行端到端训练。
• 应用在线优化技术，在策略训练期间实时更新赋能估计，避免批处理。
• 将赋能信号作为内在奖励，以引导探索，而无需依赖稀疏的外在奖励。
• 通过在凸框架中使用闭式解，避免迭代值迭代或蒙特卡洛滚动，从而确保计算效率。
• 设计算法以应对部分可观察性和随机转移，增强在复杂环境中的稳定性。

实验结果

研究问题

• RQ1 赋能是否能够被足够高效地估计，以作为在线无模型强化学习中实际的内在奖励？
• RQ2 与先前方法相比，该方法在多大程度上降低了样本和计算复杂度？
• RQ3 该方法是否能够在真实世界场景中实现有效学习，而无需领域特定知识或手动重置？
• RQ4 赋能的凸重新表述在多大程度上提升了训练稳定性和收敛速度？
• RQ5 该方法是否能够扩展到连续控制任务中，而传统内在动机方法因高样本成本而失效？

主要发现

• 所提方法在赋能估计方面，相比最先进方法，显著降低了样本和计算复杂度。
• 该算法能够在无需领域特定知识或手动重置的情况下，实现稳定且高效的在线策略训练。
• 仿真中的实证结果表明，即使在禁用提前终止的情况下，该方法仍能支持有效学习，展现出对稀疏奖励的鲁棒性。
• 凸优化框架实现了比非凸或迭代方法更快的收敛速度和更高的稳定性。
• 该方法成功扩展到连续控制环境，使通过赋能实现内在动机在真实世界强化学习应用中成为可能。
• 利用神经网络参数化优化问题，实现了端到端可微性，并可无缝集成到深度强化学习流水线中。