[論文レビュー] Prioritized Experience Replay

Tom Schaul, John Quan+2 more|arXiv (Cornell University)|Nov 18, 2015

Neural dynamics and brain function参考文献 29被引用数 2,034

ひとこと要約

本論文は prioritized experience replay を導入し、より情報量の多い遷移（高い TD-error）をより多くサンプリングして学習効率を改善し、Double DQN と組み合わせた場合に学習が高速化し、状態‑of‑the‑art Atari の結果を示す。

ABSTRACT

Experience replay lets online reinforcement learning agents remember and reuse experiences from the past. In prior work, experience transitions were uniformly sampled from a replay memory. However, this approach simply replays transitions at the same frequency that they were originally experienced, regardless of their significance. In this paper we develop a framework for prioritizing experience, so as to replay important transitions more frequently, and therefore learn more efficiently. We use prioritized experience replay in Deep Q-Networks (DQN), a reinforcement learning algorithm that achieved human-level performance across many Atari games. DQN with prioritized experience replay achieves a new state-of-the-art, outperforming DQN with uniform replay on 41 out of 49 games.

研究の動機と目的

• オンライン RL における経験再生の非効率性と優先度付けの潜在的利得を動機づける。
• TD-error を優先度指標とする確率的な優先再生メカニズムを開発する。
• 確率的優先付けと重要度サンプリングによるバイアスと多様性の問題に対処する。
• Double DQN を用いて Atari 2600 ベンチマークでスケーラビリティと有効性を示す。
• 教師あり学習およびオフポリシーシナリオへの拡張を概説する。

提案手法

• 遷移の優先度 p_i を TD-error の大きさ |δ_i| または順位ベースの同等値として定義する。
• リプレイメモリから P(i) ∝ p_i^α を用いて情報量の多い経験を優先するサンプリングを行う（α が優先度制御を担う）。
• 多様性を維持しバイアスを軽減するために確率的優先付けを用いる。
• 重要度サンプリング重量 w_i でサンプリングのバイアスを補正し、β を訓練を通じて 1 に向けてアニーリングする。
• リプレイステップの一様サンプリングを置換して Double DQN に優先再生を組み込む。
• 大規模メモリに対する効率的な実装（sum-tree または segment-based sampling）を提供する。

実験結果

リサーチクエスチョン

• RQ1 TD-error に基づくリプレイの優先化は、一様リプレイに比べて学習効率を改善するか？
• RQ2 確率的優先付けと IS 補正は、関数近似領域で収束を維持し、バイアスを低減できるか？
• RQ3 先進的な RL アーキテクチャ（例：Double DQN）と優先再生は、Atari のような挑戦的なベンチマークでどのように相互作用するか？
• RQ4 大規模な適用における実用的な考慮事項（ハイパーパラメータ α、β、メモリサイズ）は何か？

主な発見

• 優先再生は学習を著しく速度アップさせ、Atari のゲームで性能を向上させる。
• DQN に優先再生を追加すると、49 試合中 41 試合で改善が見られ、中位性能が向上する。
• 優先再生を Double DQN と組み合わせると、Atari で新しい最先端の成績を達成し、中位点と平均スコアの双方を向上させる。
• 順位ベースの優先付けと比例的優先付けは一般に同様に機能し、均一リプレイを上回る。
• いずれの変種も強力な性能に達するまでの時間を短縮し、初期学習の遅いゲームにも効果的である。
• IS 補正（β）のアニーリングは、訓練中のバイアスと学習の安定性のバランスを取る。