[论文解读] Exploration by Distributional Reinforcement Learning

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|May 4, 2018

Reinforcement Learning in Robotics参考文献 16被引用 11

一句话总结

本文提出了一种分布式强化学习框架，通过使用高斯参数建模回报分布，统一了探索方法，从而通过参数空间噪声实现高效探索。该方法名为高斯探索（Gauss Exploration, GE），通过学习价值函数参数中的不确定性，平衡探索与利用，在稀疏奖励控制任务中实现了优越性能。

ABSTRACT

We propose a framework based on distributional reinforcement learning and recent attempts to combine Bayesian parameter updates with deep reinforcement learning. We show that our proposed framework conceptually unifies multiple previous methods in exploration. We also derive a practical algorithm that achieves efficient exploration on challenging control tasks.

研究动机与目标

• 在单一分布式强化学习框架下统一多种现有的深度强化学习探索方法。
• 解决如ε-贪婪等朴素探索策略在困难、稀疏奖励环境中的局限性。
• 开发一种实用算法，通过价值函数参数的不确定性实现系统化且高效的探索。
• 与DQN、NoisyNet以及带动作噪声的标准DQN相比，展示在具有挑战性的控制基准测试中更高的样本效率和性能。

提出的方法

• 使用高斯族的参数化家族建模回报分布，对每个网络权重和偏置使用参数μθ和σθ。
• 应用分布式贝尔曼算子传播回报分布，通过差异度量将结果投影到最近的参数化分布。
• 使用混合目标函数，结合期望贝尔曼误差与熵正则化，以平衡探索与利用。
• 通过随机化评论者执行策略梯度更新，其中评论者的参数从学习到的分布中采样，以向学习过程注入噪声。
• 采用重参数化技巧，实现参数分布的可微训练，从而支持探索行为的端到端优化。
• 通过网格搜索调整超参数ρ（控制参数分布的展宽）和σ（控制熵正则化），以平衡探索与收敛。

实验结果

研究问题

• RQ1 是否可以利用分布式强化学习统一如后验采样和参数空间噪声注入等现有探索方法？
• RQ2 使用高斯族建模回报分布如何提升深度强化学习中的探索性能？
• RQ3 参数分布的不确定性对稀疏奖励环境中样本效率有何影响？
• RQ4 超参数ρ和σ如何影响所提框架中探索与利用之间的权衡？
• RQ5 所提方法是否能在具有挑战性的控制任务中超越使用ε-贪婪的标准DQN和NoisyNet？

主要发现

• 与倾向于聚集在有限区域的DQN相比，所提出的高斯探索（GE）算法在状态空间中实现了更系统化和更广泛的覆盖。
• 在稀疏奖励环境如稀疏CartPole、稀疏MountainCar和稀疏Acrobot中，GE在学习进度和最终性能上显著优于DQN和NoisyNet。
• 在具有稀疏奖励的连续控制任务中，使用随机化评论者的DDPG（采用GE）的学习进度快于使用动作噪声注入的DDPG。
• 性能在超参数ρ和σ上呈非单调性，表明探索广度与收敛速度之间存在关键权衡。
• 该方法成功地在单一分布式强化学习框架下统一了Bandit问题的后验采样与DQN中的贝叶斯参数更新。
• 实证结果表明，ρ和σ均对性能至关重要，最优值通过在对数尺度上的网格搜索获得。