[论文解读] CrossNorm: Normalization for Off-Policy TD Reinforcement Learning

Aditya Bhatt, Max Argus+2 more|arXiv (Cornell University)|Feb 14, 2019

Fuel Cells and Related Materials参考文献 28被引用 18

一句话总结

本文提出 CrossNorm，一种用于离策略时序差分（TD）强化学习的新归一化技术，通过结合在线与离策略转移数据来稳定训练。通过在两种不同的数据分布间重新中心化特征，CrossNorm 提升了 DDPG 和 TD3 的优化稳定性，消除了对目标网络的需求，并在 MuJoCo 基准测试中超越了当前最先进方法。

ABSTRACT

Off-policy temporal difference (TD) methods are a powerful class of reinforcement learning (RL) algorithms. Intriguingly, deep off-policy TD algorithms are not commonly used in combination with feature normalization techniques, despite positive effects of normalization in other domains. We show that naive application of existing normalization techniques is indeed not effective, but that well-designed normalization improves optimization stability and removes the necessity of target networks. In particular, we introduce a normalization based on a mixture of on- and off-policy transitions, which we call cross-normalization. It can be regarded as an extension of batch normalization that re-centers data for two different distributions, as present in off-policy learning. Applied to DDPG and TD3, cross-normalization improves over the state of the art across a range of MuJoCo benchmark tasks.

研究动机与目标

• 为解决尽管在其他领域取得成功，但在深度离策略 TD 算法中缺乏有效特征归一化的问题。
• 探究为何标准归一化技术在离策略强化学习设置中会失效。
• 设计一种新型归一化方案，以有效处理在线策略与离策略转移之间的分布偏移。
• 提升如 DDPG 和 TD3 等离策略深度强化学习算法的训练稳定性和性能。
• 通过采用混合归一化策略，消除对目标网络的需求。

提出的方法

• CrossNorm 引入一种归一化层，通过混合使用在线与离策略转移数据来稳定特征分布。
• 该方法通过基于离策略学习中存在两种不同数据分布的统计信息，对特征进行重新中心化，扩展了批量归一化。
• 该方法分别计算在线与离策略转移的批量统计量，并应用加权组合来归一化输入特征。
• CrossNorm 被集成到 DDPG 和 TD3 的策略网络与 Q 网络中，取代标准的批量归一化层。
• 归一化操作在非线性激活函数之前应用，以在训练过程中保持稳定性。
• 该方法通过减少 Q 值目标中的分布偏移，实现了无需目标网络的稳定训练。

实验结果

研究问题

• RQ1 为何标准归一化技术在离策略 TD 强化学习中会失效？
• RQ2 能否通过一种同时考虑在线与离策略转移的混合归一化策略来提升训练稳定性？
• RQ3 CrossNorm 是否能消除 DDPG 和 TD3 等离策略算法中对目标网络的需求？
• RQ4 CrossNorm 在 MuJoCo 基准环境中的性能与当前最先进归一化和训练技术相比如何？
• RQ5 CrossNorm 是否能在连续控制任务中实现更高的样本效率和最终性能？

主要发现

• CrossNorm 显著提升了 DDPG 和 TD3 等离策略 TD 算法的训练稳定性。
• 该方法消除了对目标网络的需求，简化了训练流程。
• CrossNorm 在多个 MuJoCo 基准任务中实现了最先进性能。
• 性能提升归因于对在线与离策略转移之间分布偏移的更好处理。
• 在离策略强化学习设置中，CrossNorm 优于标准批量归一化及其他归一化技术。
• 该方法实现了更稳定、更高效的训练，且无需额外超参数调优。