[论文解读] On Inductive Biases in Deep Reinforcement Learning

Matteo Hessel, Hado van Hasselt+2 more|arXiv (Cornell University)|Jul 5, 2019

Reinforcement Learning in Robotics参考文献 29被引用 21

一句话总结

本文研究了深度强化学习中领域特定归纳偏置的影响，表明自适应、可学习的替代方案（如奖励裁剪、固定动作重复和奖励缩放）可与常见启发式方法相媲美或超越其在Atari上的表现，同时在无需额外调优的情况下实现对新连续控制任务的更好泛化能力。

ABSTRACT

Many deep reinforcement learning algorithms contain inductive biases that sculpt the agent's objective and its interface to the environment. These inductive biases can take many forms, including domain knowledge and pretuned hyper-parameters. In general, there is a trade-off between generality and performance when algorithms use such biases. Stronger biases can lead to faster learning, but weaker biases can potentially lead to more general algorithms. This trade-off is important because inductive biases are not free; substantial effort may be required to obtain relevant domain knowledge or to tune hyper-parameters effectively. In this paper, we re-examine several domain-specific components that bias the objective and the environmental interface of common deep reinforcement learning agents. We investigated whether the performance deteriorates when these components are replaced with adaptive solutions from the literature. In our experiments, performance sometimes decreased with the adaptive components, as one might expect when comparing to components crafted for the domain, but sometimes the adaptive components performed better. We investigated the main benefit of having fewer domain-specific components, by comparing the learning performance of the two systems on a different set of continuous control problems, without additional tuning of either system. As hypothesized, the system with adaptive components performed better on many of the new tasks.

研究动机与目标

• 评估在深度强化学习中用自适应、可学习组件替代领域特定启发式方法是否会影响性能和泛化能力。
• 探究减少对手工设计归纳偏置的依赖是否能提升深度强化学习智能体在多样化环境中的泛化能力。
• 确定自适应解决方案是否能在Atari等基准任务上匹配或超越经过精心调优的启发式方法，且在新领域中无需进一步调优。
• 评估常见归纳偏置（如固定动作重复和奖励裁剪）是否阻碍强化学习智能体的可扩展性和可迁移性。
• 探索移除领域特定先验是否暴露核心学习算法的弱点，或是否能提升整体鲁棒性和适应能力。

提出的方法

• 用可微、可学习的组件替代固定的、领域特定的启发式方法（如奖励裁剪、固定动作重复），这些组件可在训练过程中自适应调整。
• 采用带循环状态表示的演员-critic框架，以建模长期依赖关系，并实现归纳偏置的端到端学习。
• 使用异步优势演员-critic（A3C）算法，通过在多个环境间共享参数来提升样本效率。
• 通过PopArt归一化实现自适应奖励缩放，以稳定训练并降低对奖励幅度的敏感性。
• 在Atari学习环境（ALE）的标准基准游戏中评估性能，比较自适应版本与启发式方法版本的表现。
• 通过将完全自适应的智能体应用于一套新的连续控制任务（如MuJoCo环境）来测试泛化能力，且不进行任何超参数调优。

实验结果

研究问题

• RQ1 用自适应、可学习的组件替代固定的、领域特定的启发式方法是否会在Atari基准测试中降低性能？
• RQ2 一个具有完全自适应归纳偏置的智能体是否能比专为Atari调优的启发式智能体更好地泛化到新的、未见过的环境中？
• RQ3 移除如奖励裁剪和固定动作重复等归纳偏置对学习稳定性和最终性能有何影响？
• RQ4 在多个环境中，自适应组件与经过精心调优的领域特定启发式方法相比，在样本效率和最终回报方面表现如何？
• RQ5 归纳偏置在多大程度上掩盖了核心学习算法的局限性？移除它们是否能提升强化学习智能体的透明度和泛化能力？

主要发现

• 自适应组件在Atari学习环境中表现匹配或优于领域特定的启发式方法，性能极少更差，通常更优。
• 完全自适应的智能体在一套连续控制任务上的综合表现优于专门为此类任务训练的、调优良好的A3C智能体。
• 该自适应系统在无需任何超参数调优的情况下有效泛化到新环境，展现出更强的开箱即用的泛化能力。
• 奖励裁剪仍是一个显著的例外，在多个Atari游戏中，启发式方法仍提供性能优势，表明其可能编码了有用的归纳偏置。
• 使用固定超参数（如动作重复次数、折扣因子）被证明是次优的，因其在训练阶段间存在复杂交互且缺乏适应性。
• 结果表明，许多常用启发式方法并非实现竞争力性能所必需，反而可能限制深度强化学习智能体的泛化能力。