[论文解读] Hindsight Trust Region Policy Optimization

Han‐Bo Zhang, Site Bai+3 more|arXiv (Cornell University)|Jul 29, 2019

Reinforcement Learning in Robotics参考文献 38被引用 8

一句话总结

Hindsight Trust Region Policy Optimization (HTRPO) 通过引入事后学习改进了稀疏奖励强化学习中的样本效率和稳定性。通过引入KL散度的二次逼近（QKL）和事后目标过滤（HGF），HTRPO在Atari游戏、机器人控制和基准任务中均优于TRPO和HPG，成功率达到更高水平，收敛速度更快。

ABSTRACT

Reinforcement Learning(RL) with sparse rewards is a major challenge. We propose \emph{Hindsight Trust Region Policy Optimization}(HTRPO), a new RL algorithm that extends the highly successful TRPO algorithm with \emph{hindsight} to tackle the challenge of sparse rewards. Hindsight refers to the algorithm's ability to learn from information across goals, including ones not intended for the current task. HTRPO leverages two main ideas. It introduces QKL, a quadratic approximation to the KL divergence constraint on the trust region, leading to reduced variance in KL divergence estimation and improved stability in policy update. It also presents Hindsight Goal Filtering(HGF) to select conductive hindsight goals. In experiments, we evaluate HTRPO in various sparse reward tasks, including simple benchmarks, image-based Atari games, and simulated robot control. Ablation studies indicate that QKL and HGF contribute greatly to learning stability and high performance. Comparison results show that in all tasks, HTRPO consistently outperforms both TRPO and HPG, a state-of-the-art algorithm for RL with sparse rewards.

研究动机与目标

• 解决稀疏奖励强化学习中的挑战，即稀疏反馈在初始探索阶段阻碍策略收敛。
• 通过将事后经验回放与信任区域优化相结合，提升策略梯度方法的样本效率和学习稳定性。
• 克服策略梯度方法中固有的KL散度估计高方差和不稳定策略更新问题，尤其是在结合事后数据时。
• 开发一种方法，有效选择具有信息量的后事后目标，以引导学习朝向原始任务目标，特别是在复杂环境中。
• 证明HTRPO在保持TRPO理论收敛性的同时，显著提升稀疏奖励设置下的性能和稳定性。

提出的方法

• 推导TRPO的事后学习形式，允许使用过去轨迹中的原始目标和实际达成目标进行策略更新。
• 引入二次KL（QKL）估计，提供低方差、精确的KL散度约束逼近，稳定策略更新。
• 应用加权重要性采样（WIS）以降低策略优化过程中离策略更新的方差。
• 设计事后目标过滤（HGF），以选择更能覆盖原始目标空间的事后目标，提升泛化能力和成功率。
• 采用信任区域框架，结合线性搜索和共轭梯度优化，确保策略单调改进。
• 在事后设置中利用条件目标的价值函数和优势函数，计算所有可能目标的策略梯度。

实验结果

研究问题

• RQ1 事后学习能否有效集成到TRPO的信任区域框架中，以提升稀疏奖励强化学习的样本效率？
• RQ2 所提出的QKL估计方法是否能降低KL散度估计的方差，并相比标准KL估计提升训练稳定性？
• RQ3 事后目标过滤（HGF）在选择更具信息量的事后目标方面，能在多大程度上提升学习性能？
• RQ4 HTRPO在多样化的稀疏奖励任务中，与SOTA方法如HPG和TRPO相比，其最终性能、收敛速度和样本效率如何？
• RQ5 HTRPO是否在保持TRPO理论收敛保证的同时，提升了复杂环境中的实际性能？

主要发现

• HTRPO在7项基准任务中持续优于TRPO和HPG，在离散和连续控制环境中均实现更高的最终成功率和更快的收敛速度。
• 在具有挑战性的Fetch PickAndPlace任务中，HTRPO的成功率比HPG高出60%，证明其具有更优的样本效率和稳定性。
• 消融研究证实，QKL降低了KL估计的方差，实现了更准确的信任区域更新，即使在高方差事后数据下也能实现稳定学习。
• 事后目标过滤（HGF）在复杂任务（如Fetch PickAndPlace）中显著提升性能，成功率相比无HGF的HTRPO提升超过40%。
• 加权重要性采样（WIS）降低了离策略更新的方差，尤其在复杂环境中表现优异，FetchPushC任务中有效样本量（ESS）平均达到每训练批次11.6k。
• HTRPO在保持TRPO理论收敛性的同时实现了更优的实际性能，证实其在稀疏奖励环境中的稳定性和可靠性。