[论文解读] G-Learning: Taming the Noise in Reinforcement Learning via Soft Updates.

Roy Fox, Ari Pakman+1 more|arXiv (Cornell University)|Dec 28, 2015

Reinforcement Learning in Robotics参考文献 25被引用 7

一句话总结

G-learning 是一种新型的离策略强化学习算法，通过应用软更新和惩罚确定性策略，减轻了早期学习中由噪声引起的偏差，从而在噪声较大且探索风险较高的环境中实现了更快的收敛速度和更低的学习成本。该算法引入了对最优动作的先验分布，在噪声环境和无噪声环境中均优于Q-learning。

ABSTRACT

Model-free reinforcement learning algorithms such as Q-learning perform poorly in the early stages of learning in noisy environments, because much effort is spent on unlearning biased estimates of the state-action function. The bias comes from selecting, among several noisy estimates, the apparent optimum, which may actually be suboptimal. We propose G-learning, a new off-policy learning algorithm that regularizes the noise in the space of optimal actions by penalizing deterministic policies at the beginning of the learning. Moreover, it enables naturally incorporating prior distributions over optimal actions when available. The stochastic nature of G-learning also makes it more cost-effective than Q-learning in noiseless but exploration-risky domains. We illustrate these ideas in several examples where G-learning results in significant improvements of the learning rate and the learning cost.

研究动机与目标

• 解决如Q-learning等无模型强化学习算法在噪声环境中因状态-动作值估计偏差而导致的性能下降问题。
• 通过在早期学习阶段对最优动作空间中的噪声进行正则化，减少对偏差估计进行‘去学习’的需求。
• 通过分布正则化实现对最优动作先验知识的自然集成。
• 通过在初期优先选择随机策略而非确定性策略，提升无噪声但探索风险较高的领域中的成本效益。

提出的方法

• 引入一种软更新机制，逐步整合新的Q值估计，降低对噪声样本的敏感性。
• 在训练初期对确定性策略施加惩罚，以避免过早地锁定到次优动作。
• 采用随机策略更新策略，以保持探索性并降低早期学习阶段的方差。
• 将最优动作的先验分布作为更新规则中的正则化项，实现有信息的探索。
• 在动作选择过程中采用类似软最大（soft-max）的更新方式，以维持不确定性并减少对噪声极大值的过拟合。
• 在离策略设置下运行，支持高效的经验回放和样本复用，同时保持稳定性。

实验结果

研究问题

• RQ1 G-learning 在Q值估计存在高噪声的环境中，如何提升学习效率？
• RQ2 在训练初期对确定性策略施加惩罚，在多大程度上能减少偏差并加速收敛？
• RQ3 能否有效将关于最优动作的先验知识整合到学习过程中，以提升样本效率？
• RQ4 在无噪声但探索风险较高的环境中，G-learning 与Q-learning 相比，在学习成本和鲁棒性方面表现如何？
• RQ5 软更新对噪声环境中价值函数学习的稳定性和性能有何影响？

主要发现

• G-learning 通过减少对偏差Q值估计的‘去学习’需求，在噪声环境中显著提升了学习速率。
• 该算法通过在早期策略更新中保持随机性，降低了学习成本，尤其在探索风险较高的领域中优势明显。
• 引入最优动作的先验分布可实现更快收敛和更高的样本效率。
• G-learning 在噪声和无噪声环境中均优于Q-learning，展现出在多样化环境中的鲁棒性。
• 软更新机制通过抑制Q值估计中噪声极大值的影响，稳定了学习过程。
• 实验结果表明，G-learning 相较于基线Q-learning，实现了更快的收敛速度和更低的性能方差。