[論文レビュー] AMBER: Adaptive Multi-Batch Experience Replay for Continuous Action Control

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|Oct 12, 2017

Reinforcement Learning in Robotics参考文献 14被引用数 5

ひとこと要約

本論文では、連続制御タスクにおける近接方策最適化（PPO）のための、適応的マルチバッチ経験リプレイ手法AMBERを提案する。平均重要度サンプリング（IS）重みに基づいて過去のポリシー・バッチを動的に選択し、事前に計算された利得と価値を用いることで、AMBERはサンプル効率を向上させ、勾配の分散を低減し、複数のMuJoCoおよびOpenAI Gym環境において、標準PPOよりも高速かつ安定した学習を実現する。

ABSTRACT

In this paper, a new adaptive multi-batch experience replay scheme is proposed for proximal policy optimization (PPO) for continuous action control. On the contrary to original PPO, the proposed scheme uses the batch samples of past policies as well as the current policy for the update for the next policy, where the number of the used past batches is adaptively determined based on the oldness of the past batches measured by the average importance sampling (IS) weight. The new algorithm constructed by combining PPO with the proposed multi-batch experience replay scheme maintains the advantages of original PPO such as random mini-batch sampling and small bias due to low IS weights by storing the pre-computed advantages and values and adaptively determining the mini-batch size. Numerical results show that the proposed method significantly increases the speed and stability of convergence on various continuous control tasks compared to original PPO.

研究の動機と目的

• 連続制御タスクにおける標準PPOの限られたサンプル効率と不安定性を改善するため、過去のポリシー経験を再利用すること。
• ISベースのポリシーグラデント法において、古い経験をリプレイする際の重要度サンプリング（IS）重みの高い分散を克服すること。
• 経験リプレイを可能にしつつ、PPOの低バイアスとランダムミニバッチサンプリングの利点を維持すること。
• IS重みの減衰に基づいて、関連性のある過去バッチのみを選択する適応的メカニズムを構築すること。
• リプレイメモリサイズやクリッピングハイパーパrameterの手動チューニングを必要とせず、収束速度と安定性を向上させること。

提案手法

• AMBERは、過去のポリシー更新から事前に計算された利得と価値を格納するリプレイバッファを用い、再計算なしに効率的なリプレイを可能にする。
• 平均IS重みに基づいて、各更新において過去のポリシー・バッチのサブセットを適応的に選択する。この重みはバッチの「古さ」を測る指標である。
• バッチドロップ要因を用いて、時間の経過に伴い線形に減少させることで、過去のバッチ数を動的に調整する。
• 現在の経験とアクティブな過去の経験を組み合わせたセットからランダムにミニバッチを抽出することで、サンプル相関を低減し、勾配の安定性を向上させる。
• IS重み比にクリッピングを適用することでPPOと統合し、低バイアスと安定した最適化を保持する。
• アクティブバッチ数の増加に伴いミニバッチサイズをスケーリングすることで、1イテレーションあたりの更新数を固定する。

実験結果

リサーチクエスチョン

• RQ1 ISベースのポリシーグラデント法（例：PPO）に経験リプレイを効果的に適用できるか。その際、大きなIS重みによる高い分散が生じないか。
• RQ2 過去のポリシー・バッチを、サンプル効率を最大化し、バイアスと分散を最小限に抑えるために、どのように適応的に選択できるか。
• RQ3 マルチバッチリプレイバッファからランダムミニバッチをサンプリングすることで、エピソードベースのサンプリングに比べてサンプル相関が低減され、学習安定性が向上するか。
• RQ4 古くなったバッチをドロップする適応的メカニズムにより、リプレイメモリサイズの手動チューニングを必要とせずに性能が向上するか。
• RQ5 連続制御タスクにおける収束速度と最終的性能の観点から、標準PPOおよび他のPG法（例：TRPO、ACER）と比較して、本手法はどのように差をつけるか。

主な発見

• PPO-AMBERは $\epsilon_b = 0.25$ の条件下で、最適なアクティブバッチ数（1〜8）を自動的に選択し、リプレイサイズの手動チューニングの必要性を排除する。
• PPO-AMBERは、HalfCheetah、Pendulum、Swimmer、Humanoidを含むすべてのテスト環境で、標準PPOよりも顕著に高速かつ安定した収束を達成する。
• Swimmerのようなタスクでは、PPOが高い分散により不安定になるのに対し、PPO-AMBERはより多くのサンプルを平均化することでロバスト性を向上させ、PPOとPPO-AMBERの性能差が顕著に現れる。
• マルチバッチリプレイバッファからのランダムミニバッチサンプリングは、エピソードベースのミニバッチサンプリングを上回る性能を示し、サンプル相関の低減が学習を促進することが確認された。
• PPO-AMBERは、最終的性能と学習安定性の両面でTRPOおよびACERを上回り、連続制御における有効性を示している。
• 本手法は低次元のアクションタスクで最も効果的である。Humanoidのような高次元タスクではIS重みが増加するため、性能向上が小さくなり、より小さな学習率やタスク固有の適応が必要であると示唆される。