[论文解读] A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning

Amy Zhang, Nicolas Ballas+1 more|arXiv (Cornell University)|Jun 20, 2018

Reinforcement Learning in Robotics参考文献 11被引用 93

一句话总结

该论文研究深度强化学习在连续域上的泛化与记忆，提出 seed-based 和 randomized-reward 测试，并显示在训练多样性充足时，模拟环境可实现泛化，而自然数据则带来更大的泛化挑战。

ABSTRACT

The risks and perils of overfitting in machine learning are well known. However most of the treatment of this, including diagnostic tools and remedies, was developed for the supervised learning case. In this work, we aim to offer new perspectives on the characterization and prevention of overfitting in deep Reinforcement Learning (RL) methods, with a particular focus on continuous domains. We examine several aspects, such as how to define and diagnose overfitting in MDPs, and how to reduce risks by injecting sufficient training diversity. This work complements recent findings on the brittleness of deep RL methods and offers practical observations for RL researchers and practitioners.

研究动机与目标

• 在连续域内激发并表征深度强化学习（RL）中的过拟合。
• 在 RL 中定义实用的泛化概念，包括任务内和任务外场景。
• 开发诊断测试（seed 随机化、奖励随机化、分布转变）以检测记忆化。
• 研究训练多样性如何影响无模型和模型基 RL 方法的泛化。
• 提供可操作的指南，用于评估和提升 RL 策略的鲁棒性。

提出的方法

• 用训练种子 vs 测试种子来分离随机性来源，从而形式化 RL 泛化。
• 在有限的种子变动下，使用随机化奖励实验来评估记忆化倾向。
• 通过扩展初始状态分布并引入观测噪声来评估泛化。
• 比较模型无关（DQN/PPO）和基于模型的 RL 方法在离散与连续动作空间的表现。
• 应用一系列环境（Cartpole、Acrobot、Reacher、Thrower）和基于自然图像的任务来研究泛化。
• 提供实现和超参数细节以实现可复现性。

实验结果

研究问题

• RQ1 种子多样性如何影响连续 RL 任务中的泛化与记忆化？
• RQ2 随机化奖励能否揭示深度 RL 模型中的记忆化倾向，种子数量如何影响这一点？
• RQ3 初始状态的分布转变与观测噪声如何影响迁移/泛化性能？
• RQ4 在有限的训练种子下，基于模型的 RL 方法会改善还是恶化泛化？
• RQ5 模拟域任务与自然图像为基础的任务在泛化行为上有什么差异？

主要发现

• 在训练多样性有限时，深度 RL 在简单的模拟任务和基于自然图像的任务中都可能过拟合。
• 增加训练种子的数量通常会在模拟域中改善泛化，即使是连续动作。
• 随机化奖励实验在训练种子较少时揭示记忆化，但更大的种子集合会降低记忆化效应。
• 任务外泛化在更多训练环境下有所提升，但随着域转移（初始状态和观测噪声）增大而下降。
• 在有限种子情形下，基于模型的 RL 可能传播或放大偏差，在某些连续控制任务中表现出更差的泛化。
• 自然图像任务的泛化差距大于合成任务，凸显需要新的基准测试。