[論文レビュー] Advances in Experience Replay

Tracy Wan, Neil Xu|arXiv (Cornell University)|May 15, 2018

Online Learning and Analytics被引用数 3

ひとこと要約

本論文は、複数のOpenAI Gym環境において、DQNおよびDDPGアルゴリズムに、組み合わせ経験リプレイ（CER）、優先順位付き経験リプレイ（PER）、後向き経験リプレイ（HER）という3つの高度な経験リプレイ技術を組み合わせることを調査している。結果として、Pendulum-v0のような報酬が疎である環境ではHERが学習を顕著に改善することが示されたが、3つの技術を併用しても一貫したベースライン上回りの性能は得られず、環境の構造や学習の安定性に強く依存する結果となった。

ABSTRACT

This project combines recent advances in experience replay techniques, namely, Combined Experience Replay (CER), Prioritized Experience Replay (PER), and Hindsight Experience Replay (HER). We show the results of combinations of these techniques with DDPG and DQN methods. CER always adds the most recent experience to the batch. PER chooses which experiences should be replayed based on how beneficial they will be towards learning. HER learns from failure by substituting the desired goal with the achieved goal and recomputing the reward function. The effectiveness of combinations of these experience replay techniques is tested in a variety of OpenAI gym environments.

研究の動機と目的

• 最近の経験リプレイ技術の進展（CER、PER、HER）を組み合わせることで、深層強化学習におけるサンプル効率と学習安定性を向上させる有効性を評価すること。
• これらの技術を協調的に統合することで、個々の手法や標準的な経験リプレイに比べ、収束性と性能が優れているかどうかを評価すること。
• 報酬の疎らさや行動空間の種類が異なる多様な強化学習環境において、統合された経験リプレイの頑健性と一般化性能をテストすること。
• LunarLander-v2、MountainCar、Pendulum-v0などのベンチマーク環境において、訓練速度および最終的な性能向上が顕著に現れる組み合わせを特定すること。
• ハイパーパramータの感度と学習の不安定性が、統合された経験リプレイ手法の信頼性に与える影響を調査すること。

提案手法

• CERを組み合わせることで、最新の経験が常に訓練バッチに含まれるようにし、時間的関連性を維持する。
• PERを統合し、時間差誤差（TDエラー）が大きい遷移を優先してリプレイすることで、学習を情報量の多い経験に集中させる。
• HERを適用し、失敗した軌道に対しては元の目標を達成した目標に置き換え、報酬を再計算することで、失敗からも学習できるようにする。
• DQNおよびDDPGフレームワーク内に統合されたアプローチを実装し、状態、行動、報酬、次状態、および目標情報を含むリプレイバッファを用いる。
• DDPGでは、訓練の安定化のためターゲットネットワークとソフト更新を適用し、状態と行動のスケールの変動に対処するためにバッチ正規化を適用する。
• DDPGではノイズ注入による探索を実装し、複数のランダムシードを用いて性能を評価することで、ばらつきと安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 CER、PER、HERを併用することで、DQNおよびDDPGにおけるベースライン経験リプレイに比べ、収束が速く最終的な性能が向上するか？
• RQ2 報酬が疎である環境（例：MountainCar、Pendulum）と報酬が稠密な環境（例：LunarLander）において、これらの統合技術はどのように性能を示すか？
• RQ3 連続的制御タスク（失敗が一般的なタスク）において、HERの導入が学習にどの程度改善をもたらすか？
• RQ4 優先順位付け（PER）と後向き学習（HER）を併用することで学習効率が向上するか、それとも相反するサンプリング目的により干渉するか？
• RQ5 複数の訓練ランと環境にわたって、統合経験リプレイの結果はどの程度安定的で再現可能か？

主な発見

• Pendulum-v0環境ではHERが学習速度と成功確率を顕著に向上させ、CER＋HER（CHER）はわずか500エピソードで収束し、他の組み合わせを上回った。
• 報酬が稠密なLunarLander-v2では、HERやPERを含む手法がベースラインより性能が悪く、これらの手法が稠密報酬設定では効果が薄い可能性を示唆した。
• CER単体の統合経験リプレイはLunarLanderでベースラインに近い性能を示したが、上回ることはなく、稠密報酬環境では限界的な追加的利益にとどまった。
• MountainCarでは、各手法間で差がほとんどなく、明確な優位性は認められず、報酬の極端な疎らさとモデルの不安定性が要因と考えられた。
• DDPGの訓練は、特にPendulum-v0において極めて不安定であり、定量的比較の信頼性が制限されたが、HERベースの手法には有望な傾向が見られた。
• HERに加えPERとCERを組み合わせても、すべての環境で一貫した改善が得られず、多様なRLタスクにわたる経験リプレイ向上の一般化の難しさが浮き彫りになった。