[論文レビュー] Revisiting Fundamentals of Experience Replay

William Fedus, Prajit Ramachandran+5 more|arXiv (Cornell University)|Jul 13, 2020

Smart Grid Energy Management被引用数 83

ひとこと要約

この論文はQ-learningにおける経験リプレイを体系的に分析し、より大きなリプレイ容量が一部のアルゴリズム（特にn段階リターンを持つRainbow）で性能を向上させる可能性があること、リプレイ比率とデータの年齢が重要であることを示す。極めてオフポリシー/オフライン風設定であっても、n段階リターンはより大きなリプレイバッファからの利得を特 uniquely enable する。

ABSTRACT

Experience replay is central to off-policy algorithms in deep reinforcement learning (RL), but there remain significant gaps in our understanding. We therefore present a systematic and extensive analysis of experience replay in Q-learning methods, focusing on two fundamental properties: the replay capacity and the ratio of learning updates to experience collected (replay ratio). Our additive and ablative studies upend conventional wisdom around experience replay -- greater capacity is found to substantially increase the performance of certain algorithms, while leaving others unaffected. Counterintuitively we show that theoretically ungrounded, uncorrected n-step returns are uniquely beneficial while other techniques confer limited benefit for sifting through larger memory. Separately, by directly controlling the replay ratio we contextualize previous observations in the literature and empirically measure its importance across a variety of deep RL algorithms. Finally, we conclude by testing a set of hypotheses on the nature of these performance benefits.

研究の動機と目的

• リプレイバッファにおけるリプレイ容量とデータの古さ（ age） の影響を学習性能から分離する。
• より大きなリプレイバッファからの性能向上を実現するアルゴリズム構成要素を特定する。
• Rainbow以外のQ学習系（例: DQN）にも一般化するかを評価する。
• n-stepリターンとリプレイ容量およびオフポリシーなデータとの関連の仕組みを調査する。
• オフライン/バッチRL設定への示唆と、分散削減の説明可能性を検討する。

提案手法

• リプレイ容量（バッファサイズ）と最も古いポリシーの年齢（オフポリシー性）を定義・測定する。
• リプレイ比を、環境遷移あたりの勾配更新として導入し、データフローと学習更新をデカップリングする。
• Rainbowを基盤エージェントとして大規模なAtari実験を実施し、リプレイ容量と最古のポリシーをグリッド状に変化させる。
• 追加・除去実験を行い（PER、n-stepリターン、Adam、C51を追加/削除）、リプレイ容量利得への影響を特定する。
• オンライン版（DQN、Rainbow）とオフライン／バッチRL設定を比較し、 findingsの頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 リプレイバッファのリプレイ容量と遷移の年齢は、学習性能に独立してどのように影響するか？
• RQ2 Rainbow のどの構成要素が大きなリプレイバッファで性能を向上させ、n-stepリターンが特有の責任を持つのか？
• RQ3 知見はDQNなど他のQ学習系にも一般化するか、オフライン/バッチRL設定でも成り立つか？
• RQ4 なぜn-stepリターンがより大きなリプレイからの利得を可能にするのかを説明する仕組み（例: 分散削減、オフポリシー性）とは？
• RQ5 スケーラブルなオフポリシー深層RLエージェントにおけるリプレイデータ生成設計の実践的な意味は何か？

主な発見

エージェント	固定リプレイ比改善	固定 oldest policy 改善
DQN	+0.1%	-0.4%
Rainbow	+28.7%	+18.3%

• 最も古いポリシーの年齢を成長させることを許す場合、リプレイ容量を増やすとAtari全般で性能が向上する。
• 最も古いポリシーの年齢を下げる（よりオンポリシーなデータが増える）ことも、特に大きなバッファと共に性能を改善する傾向がある。
• n-stepリターンは、より大きなリプレイ容量から利益を得るために特 uniquely critical であり、n-stepを除去すると大きなバッファからの利得はなくなる。
• DQNは大きなリプレイバッファの恩恵を受けないが、n-stepを備えたRainbowは恩恵を受ける。相互作用はアーキテクチャ依存であることを示唆する。
• オフライン/バッチRLでは、n>1のn-stepリターンを用いると、極めてオフポリシーなデータでも性能が向上し、マルチステップリターンの広い関連性を支持する。
• 研究設定では、Prioritized Experience Replay (PER) は大規模なメモリからの利得を有意に促進しない。