[论文解读] Deterministic Implementations for Reproducibility in Deep Reinforcement Learning

Prabhat Nagarajan, Garrett Warnell+1 more|arXiv (Cornell University)|Sep 15, 2018

Reinforcement Learning in Robotics参考文献 17被引用 34

一句话总结

本文提出了一种深度Q-learning的确定性实现方法，通过消除随机性来源来解决深度强化学习中的可复现性挑战。通过隔离并测量各个随机性组件（如随机种子、GPU操作和环境随机性）的影响，证明了每个因素都会显著增加性能方差，从而表明确定性实现对于可复现性和可靠统计评估至关重要。

ABSTRACT

While deep reinforcement learning (DRL) has led to numerous successes in recent years, reproducing these successes can be extremely challenging. One reproducibility challenge particularly relevant to DRL is nondeterminism in the training process, which can substantially affect the results. Motivated by this challenge, we study the positive impacts of deterministic implementations in eliminating nondeterminism in training. To do so, we consider the particular case of the deep Q-learning algorithm, for which we produce a deterministic implementation by identifying and controlling all sources of nondeterminism in the training process. One by one, we then allow individual sources of nondeterminism to affect our otherwise deterministic implementation, and measure the impact of each source on the variance in performance. We find that individual sources of nondeterminism can substantially impact the performance of agent, illustrating the benefits of deterministic implementations. In addition, we also discuss the important role of deterministic implementations in achieving exact replicability of results.

研究动机与目标

• 为解决深度强化学习（DRL）中因训练过程的随机性导致结果不一致且不可复现的严重可复现性危机。
• 区分一般可复现性与更严格的可复制性，强调确定性实现对于精确结果复制的必要性。
• 识别并系统性地控制深度Q-learning训练中所有随机性来源，以实现完全确定性的实现。
• 测量每个随机性来源对性能方差的独立影响，证明其对结果可靠性产生的累积效应。
• 倡导采用确定性实现和固定实验条件作为可信DRL研究的基础实践。

提出的方法

• 通过控制所有随机性来源（包括随机种子、GPU操作和环境随机性）来实现完全确定性的深度Q-learning。
• 将各个随机性来源逐一重新引入原本确定性的训练流程中。
• 通过多次训练运行测量智能体性能的方差，以量化每个来源的影响。
• 使用固定硬件和软件环境，包括Docker容器和CodaLab Worksheets，以确保实验条件一致。
• 应用统计分析比较不同随机性条件下性能分布的差异，隔离每个来源的影响。
• 将确定性实现公开发布，以支持社区范围的采用与复现。

实验结果

研究问题

• RQ1 随机种子、GPU操作和环境随机性等单个随机性来源如何影响深度Q-learning智能体性能的方差？
• RQ2 训练过程中的随机性在多大程度上破坏了DRL结果的可复现性和可复制性？
• RQ3 与标准实现相比，深度Q-learning的确定性实现是否能显著降低性能方差？
• RQ4 除了确定性代码之外，实现真正可复制性的必要实验条件是什么？
• RQ5 孤立的随机性组件的影响与现实世界DRL训练中它们的综合影响相比如何？

主要发现

• 随机种子和GPU操作等单个随机性来源均可导致性能方差的显著增加，从而损害结果的可靠性。
• 即使仅重新引入一个看似微不足道的随机种子，也能导致智能体性能的统计显著差异。
• 本研究证明，DRL训练中的随机性并非小问题，而是会严重干扰算法比较的主因。
• 作者表明，确定性实现是实现可复制性的先决条件，因为硬件或编译的微小差异都可能破坏精确复制。
• 敏感性分析显示，当环境随机性被引入确定性环境时，方差显著增加，凸显了受控测试条件的必要性。
• 本文确立了确定性实现不仅有利于可复现性，而且对DRL研究中意义明确的统计假设检验至关重要。