[論文レビュー] Deterministic Implementations for Reproducibility in Deep Reinforcement Learning

Prabhat Nagarajan, Garrett Warnell+1 more|arXiv (Cornell University)|Sep 15, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 34

ひとこと要約

本論文は、深層強化学習における再現性の課題を解消するため、非決定的要因を排除することで決定的実装の深層Q学習を提案する。ランダムシード、GPU演算、環境の確率的性質といった個々の非決定的要因の影響を分離・測定することで、それぞれが性能のばらつきを著しく増大させることを示し、再現性と信頼性のある統計的評価のためには決定的実装が不可欠であることを証明する。

ABSTRACT

While deep reinforcement learning (DRL) has led to numerous successes in recent years, reproducing these successes can be extremely challenging. One reproducibility challenge particularly relevant to DRL is nondeterminism in the training process, which can substantially affect the results. Motivated by this challenge, we study the positive impacts of deterministic implementations in eliminating nondeterminism in training. To do so, we consider the particular case of the deep Q-learning algorithm, for which we produce a deterministic implementation by identifying and controlling all sources of nondeterminism in the training process. One by one, we then allow individual sources of nondeterminism to affect our otherwise deterministic implementation, and measure the impact of each source on the variance in performance. We find that individual sources of nondeterminism can substantially impact the performance of agent, illustrating the benefits of deterministic implementations. In addition, we also discuss the important role of deterministic implementations in achieving exact replicability of results.

研究の動機と目的

• 深層強化学習（DRL）における深刻な再現性の危機に対処すること。非決定的訓練プロセスにより、一貫性のない結果が得られ、再現不可能になる。
• 一般の再現性とより厳しい再現可能性（replicability）を区別すること。決定的実装が正確な結果再現のためには不可欠であることを強調する。
• 深層Q学習訓練における非決定的要因のすべてを特定し、体系的に制御することで、完全に決定的な実装を達成すること。
• 各非決定的要因が性能のばらつきに与える影響を個別に測定し、結果の信頼性に及ぼす累積的影響を示すこと。
• 決定的実装および固定された実験条件の採用を、信頼できるDRL研究の基盤的慣行として提唱すること。

提案手法

• ランダムシード、GPU演算、環境の確率的性質など、非決定的要因のすべてを制御することで、完全に決定的な深層Q学習実装を開発した。
• 他の点は決定的であるが、個々の非決定的要因を1つずつ順次再導入する訓練パイプラインを体系的に構築した。
• 複数回の訓練実行におけるエージェント性能のばらつきを測定し、各要因の影響を定量化した。
• DockerコンテナーやCodaLab Worksheetsを含む、固定されたハードウェアおよびソフトウェア環境を用いて、実験条件の一貫性を確保した。
• 異なる非決定的状態における性能分布を統計的に比較し、各要因の影響を分離した。
• コミュニティ全体での採用と再現を支援するため、決定的実装を公開した。

実験結果

リサーチクエスチョン

• RQ1 ランダムシード、GPU演算、環境の確率的性質といった個々の非決定的要因は、深層Q学習エージェントの性能にどの程度ばらつきをもたらすか？
• RQ2 訓練プロセスにおける非決定性は、DRL結果の再現性と再現可能性をどの程度損なうか？
• RQ3 深層Q学習の決定的実装は、標準的な実装と比較して性能のばらつきを顕著に低減できるか？
• RQ4 決定的コードを越えて、真の再現可能性を達成するにはどのような実験条件が必要か？
• RQ5 現実のDRL訓練における非決定的要因の個別効果と、それらの総合的影響は、どのように比較できるか？

主な発見

• ランダムシードやGPU演算といった個々の非決定的要因は、性能のばらつきを著しく増大させ、結果の信頼性を損なう可能性がある。
• たとえランダムシードのような些細な要因であっても、非決定的要因を1つだけ再導入するだけで、エージェント性能に統計的に有意な差が生じる。
• 本研究は、DRL訓練における非決定性が単なる小さな不具合ではなく、アルゴリズム間の比較を無効にする主要な交絡要因であることを示している。
• 著者らは、決定的実装が再現可能性の前提条件であることを示しており、ハードウェアやコンパイルのわずかな違いですら、正確な再現を破壊する可能性がある。
• 感度分析により、決定的環境に環境の確率的性質を注入すると、ばらつきが顕著に増加することが明らかになった。これは、制御されたテスト環境の必要性を強調する。
• 本論文は、決定的実装が再現可能性の観点での利点をもつだけでなく、DRL研究における意味のある統計的仮説検定の実現にとって不可欠であることを確立している。