[论文解读] Policy Continuation with Hindsight Inverse Dynamics

Hao Sun, Zhizhong Li+3 more|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出了一种名为基于事后反向动力学的策略延续（PCHID）的新方法，通过事后反向动力学的自我模仿，提升了目标导向强化学习中的样本效率。通过使用反向动力学从重标注的转移轨迹中学习动作，PCHID 改进了在线和离线策略算法，在 GridWorld 和 FetchReach 环境中相比 PPO 和 HER 表现更优，展现出更高的性能与数据效率。

ABSTRACT

Solving goal-oriented tasks is an important but challenging problem in reinforcement learning (RL). For such tasks, the rewards are often sparse, making it difficult to learn a policy effectively. To tackle this difficulty, we propose a new approach called Policy Continuation with Hindsight Inverse Dynamics (PCHID). This approach learns from Hindsight Inverse Dynamics based on Hindsight Experience Replay, enabling the learning process in a self-imitated manner and thus can be trained with supervised learning. This work also extends it to multi-step settings with Policy Continuation. The proposed method is general, which can work in isolation or be combined with other on-policy and off-policy algorithms. On two multi-goal tasks GridWorld and FetchReach, PCHID significantly improves the sample efficiency as well as the final performance.

研究动机与目标

• 为解决目标导向强化学习中稀疏奖励的问题，标准方法因经验收集效率低下而表现受限。
• 开发一种通用方法，提升在线与离线策略算法的性能，且不依赖时序差分或策略梯度优化。
• 通过事后重标注与反向动力学，使智能体能够从失败中学习，从而提升数据效率。
• 通过引入基于反向动力学的自我模仿机制，将事后经验回放（HER）扩展至在线策略设置。
• 通过在状态-目标空间中学习子策略，实现策略延续，支持分层与课程式学习。

提出的方法

• 提出策略延续（PC）作为多目标强化学习的框架，通过划分状态-目标空间并为中间目标学习子策略。
• 提出事后反向动力学（HID），将反向动力学扩展至使用事后目标重标注失败转移，使智能体能够从状态对与下一状态对中预测动作。
• 通过自我模仿的反向传播训练策略网络，采用监督学习方式在事后重标注的转移轨迹上进行训练，避免依赖时序差分或策略梯度。
• 将 PCHID 作为插件模块，通过联合训练、输出平均或内在奖励调节，与在线策略（如 PPO）和离线策略算法结合使用。
• 采用经验回放缓冲区，同时存储原始与重标注的转移轨迹，其中重标注将替代目标（在轨迹中观察到的其他目标）标记为成功。
• 在连续控制任务中应用该方法，使用状态与目标嵌入，通过监督学习在重标注转移轨迹上训练动作预测。

实验结果

研究问题

• RQ1 事后知识能否有效扩展至传统依赖时序差分学习的在线策略强化学习算法？
• RQ2 能否通过事后重标注将反向动力学适配至目标导向设置，以提升稀疏奖励下的策略学习？
• RQ3 通过事后反向动力学实现的自我模仿是否能显著提升多目标强化学习任务中的样本效率与最终性能？
• RQ4 PCHID 是否能灵活地与多种在线与离线策略算法结合，而无需修改网络架构或训练方案？
• RQ5 在学习速度、成功率及对奖励缩放的鲁棒性方面，PCHID 与 HER 和 PPO 相比表现如何？

主要发现

• 在 FetchReach 环境中，PCHID 显著提升了样本效率，优于标准 PPO 和基于 HER 的 PPO，尤其在训练初期表现更优。
• PCHID 与 PPO 的联合训练策略在所有组合方法中表现最佳，且无需超参数调优。
• PCHID 对奖励缩放具有鲁棒性：与对奖励大小敏感（如奖励为 10 与 0）的 PPO 不同，PCHID 在不同奖励值下均保持一致性能。
• 在 GridWorld 中，PCHID 与 PPO 结合的准确率高于 PPO 单独使用，且联合训练策略优于输出平均与内在奖励方法。
• 将 PCHID 与基于 HER 的 PPO 结合，可实现最高的最终性能，表明 PCHID 能有效补充现有离线策略方法。
• 该方法在不同环境中泛化能力良好，在离散（GridWorld）与连续控制（FetchReach）任务中均表现出一致的性能提升。