[論文レビュー] The Effects of Memory Replay in Reinforcement Learning

Ruishan Liu, James Zou|arXiv (Cornell University)|Oct 18, 2017

Reinforcement Learning in Robotics参考文献 14被引用数 6

ひとこと要約

本稿は、Q学習における経験リプレイを分析するための動的システムODEモデルを提案し、メモリバッファサイズが学習速度に非単調な効果を及ぼすことを明らかにした—あまりに少ないか、あまりに多いバッファサイズは学習を遅くする。さらに、優先順位付きリプレイが性能を低下させる可能性があることも示し、学習の一貫性を向上させるための適応的メモリバッファアルゴリズムを提案した。

ABSTRACT

Experience replay is a key technique behind many recent advances in deep reinforcement learning. Allowing the agent to learn from earlier memories can speed up learning and break undesirable temporal correlations. Despite its wide-spread application, very little is understood about the properties of experience replay. How does the amount of memory kept affect learning dynamics? Does it help to prioritize certain experiences? In this paper, we address these questions by formulating a dynamical systems ODE model of Q-learning with experience replay. We derive analytic solutions of the ODE for a simple setting. We show that even in this very simple setting, the amount of memory kept can substantially affect the agent's performance. Too much or too little memory both slow down learning. Moreover, we characterize regimes where prioritized replay harms the agent's learning. We show that our analytic solutions have excellent agreement with experiments. Finally, we propose a simple algorithm for adaptively changing the memory buffer size which achieves consistently good empirical performance.

研究の動機と目的

• 経験リプレイという深層強化学習の重要な技術におけるメモリバッファサイズが学習ダイナミクスに与える影響を理解すること。
• 優先順位付き経験リプレイが一貫して学習を改善するのか、あるいは特定の条件下で性能を劣化させる可能性があるかを調査すること。
• 学習におけるオーバースポーティングと重み更新速度のトレードオフを捉える理論的モデルを構築すること。
• 理論的予測を実験で検証し、実用的な適応的メモリバッファアルゴリズムを導出すること。

提案手法

• 経験リプレイを含むQ学習の連続時間ODEモデルを構築し、学習ダイナミクスを分析する。
• シンプルな2パラメータ設定におけるODEの解析解を導出し、メモリサイズが学習速度に与える影響を定量的に評価する。
• 不十分なメモリによるオーバースポーティングと、過剰なメモリによる遅い重み更新の間のトレードオフを分析する。
• 優先順位付き経験リプレイをモデルに組み込み、収束速度への影響を分析する。
• さまざまなメモリサイズおよびバッチサイズにおける実験により、理論的予測を検証する。
• 訓練中にバッファサイズを動的に調整することで最適なパフォーマンスを維持する、適応的経験リプレイ（aER）アルゴリズムを提案する。

実験結果

リサーチクエスチョン

• RQ1 経験リプレイバッファのサイズは、Q学習における学習速度と収束速度にどのように影響するか？
• RQ2 優先順位付き経験リプレイは常に学習を改善するのか、それとも特定の条件下で性能を低下させることがあるか？
• RQ3 メモリサイズが経験リプレイにおける学習ダイナミクスに影響を与える背後メカニズムは何か？
• RQ4 連続的力学系モデルによって、メモリサイズが学習に与える非単調効果を捉え、説明できるか？
• RQ5 さまざまな学習環境にわたって高いパフォーマンスを維持できる、適応的バッファサイズ戦略を設計できるか？

主な発見

• メモリバッファサイズは学習速度に非単調な効果を及ぼす：あまりに少ないか、あまりに多いバッファサイズは学習を遅くし、研究で検討された設定では約250のサイズが最適である。
• メモリサイズとバッチサイズが小さい場合、優先順位付きリプレイはオーバースポーティングの悪化と不安定な重み更新により学習を損なう可能性がある。
• 理論的ODE解は実験結果と非常に良好に一致しており、モデルが学習ダイナミクスを予測する精度が高いことを裏付けた。
• 理論的極限値が非ゼロに近づくのは、状態の単一方向移動に起因するため、理論的極限値の小さな値がパフォーマンスにとって極めて重要である。
• 適応的経験リプレイ（aER）アルゴリズムは、訓練中にバッファサイズを動的に調整することで、一貫して学習パフォーマンスを向上させる。
• 関数近似誤差が存在しない状況でも、メモリサイズが学習に顕著に影響することから、データ再利用と時間的相関の解消というトレードオフが非自明であることが示された。