[论文解读] Adversarial Intrinsic Motivation for Reinforcement Learning

Ishan Durugkar, Mauricio Tec+2 more|arXiv (Cornell University)|May 27, 2021

Reinforcement Learning in Robotics参考文献 67被引用 4

一句话总结

本文提出对抗性内在动机（AIM），一种新型内在奖励机制，用于目标条件强化学习，通过计算智能体状态访问分布与集中于目标点的靶向分布之间的Wasserstein-1距离来实现。通过使用针对MDP的准度量（时间步度量）对偶目标估计该距离，AIM生成平滑且信息丰富的奖励，最小化到达目标的期望步数，当与Hindsight Experience Replay（HER）结合时，显著加速学习过程。

ABSTRACT

Learning with an objective to minimize the mismatch with a reference distribution has been shown to be useful for generative modeling and imitation learning. In this paper, we investigate whether one such objective, the Wasserstein-1 distance between a policy's state visitation distribution and a target distribution, can be utilized effectively for reinforcement learning (RL) tasks. Specifically, this paper focuses on goal-conditioned reinforcement learning where the idealized (unachievable) target distribution has full measure at the goal. This paper introduces a quasimetric specific to Markov Decision Processes (MDPs) and uses this quasimetric to estimate the above Wasserstein-1 distance. It further shows that the policy that minimizes this Wasserstein-1 distance is the policy that reaches the goal in as few steps as possible. Our approach, termed Adversarial Intrinsic Motivation (AIM), estimates this Wasserstein-1 distance through its dual objective and uses it to compute a supplemental reward function. Our experiments show that this reward function changes smoothly with respect to transitions in the MDP and directs the agent's exploration to find the goal efficiently. Additionally, we combine AIM with Hindsight Experience Replay (HER) and show that the resulting algorithm accelerates learning significantly on several simulated robotics tasks when compared to other rewards that encourage exploration or accelerate learning.

研究动机与目标

• 解决目标条件强化学习中的稀疏奖励问题，即智能体需经过大量随机探索才能获得任何学习信号。
• 开发一种任务特定的内在奖励，通过最小化智能体行为分布与目标分布之间的分布差异，引导探索而不扭曲最优策略。
• 引入一种专为马尔可夫决策过程（MDPs）设计的准度量——时间步度量，用于在非欧几里得状态空间中测量Wasserstein-1距离。
• 设计一种双目标优化框架，通过采样转移样本来估计Wasserstein-1距离，实现可扩展且稳定的训练。
• 将所得的内在奖励与Hindsight Experience Replay（HER）集成，以在不修改任务奖励的情况下，加速复杂机器人环境中的学习。

提出的方法

• 基于从一个状态转移到另一个状态所需的最少步数，定义一种专为MDP设计的准度量——时间步度量，使非欧几里得环境中Wasserstein-1距离的计算具有实际意义。
• 利用Wasserstein-1距离的对偶形式，估计智能体状态访问分布与理想靶向分布（即目标点的狄拉克测度）之间的分布差异。
• 训练一个评论家网络，通过双目标优化最大化潜在函数在分布间的差异，同时利用时间步度量导出的正则化项，以确保泛化性和稳定性。
• 从估计的Wasserstein-1距离构建内在奖励函数，激励智能体最小化到达目标的期望步数。
• 将AIM内在奖励与Hindsight Experience Replay（HER）集成，使智能体能够重标记转移样本，并在仅依赖稀疏任务奖励的情况下高效学习。
• 使用标准超参数和正则化技术（如动作裁剪和Huber损失）的离策略深度强化学习算法（如TD3）优化策略，结合任务奖励与AIM内在奖励。

实验结果

研究问题

• RQ1 最小化智能体状态访问分布与目标导向分布之间的Wasserstein-1距离，是否能实现强化学习中更快、更高效的goal-reaching？
• RQ2 使用针对MDP的准度量（即时间步度量）是否能在非欧几里得状态空间中，相比欧几里得度量，实现更合理且稳定的分布差异估计？
• RQ3 能否通过采样转移样本来有效优化Wasserstein-1距离的对偶形式，从而生成平滑且信息丰富的内在奖励信号？
• RQ4 与仅使用稀疏或密集外在奖励的HER相比，AIM与HER结合在学习速度和最终性能方面表现如何？
• RQ5 在使用时间步度量最小化Wasserstein-1距离时，是否能获得最小化到达目标期望步数的策略，尤其是在确定性环境中？

主要发现

• 使用时间步度量最小化Wasserstein-1距离的策略，正是以最小期望步数到达目标的策略，在确定性环境中为最优策略。
• AIM生成平滑的内在奖励，随环境转移连续变化，避免了可能使学习过程不稳定的突变奖励信号。
• 当与Hindsight Experience Replay（HER）结合时，AIM在模拟机器人任务（Fetch环境）中的学习速度显著加快，其性能可与使用实际目标距离作为密集奖励的情况相媲美。
• AIM+HER算法在收敛速度和样本效率方面均优于仅使用稀疏任务奖励的HER，显著减少了达到高性能所需的总时间步数。
• 在Fetch机器人环境（Reach、Push、Slide、Pick and Place任务）上的实验表明，AIM+HER在学习速度和最终成功率达到方面，优于仅使用稀疏奖励的HER和使用密集奖励的HER。
• 该方法对随机动力学具有鲁棒性，并在多种目标条件控制任务中表现出良好的泛化能力，无需任务特定的奖励设计即可实现一致的性能提升。