[論文レビュー] Learning to Sample with Local and Global Contexts in Experience Replay Buffer

Youngmin Oh, Kimin Lee+3 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、局所的（個々の遷移特徴）およびグローバル的（すべての遷移を含む文脈）な文脈を統合的にモデル化して相対的重要性を計算することにより、オフポリシー強化学習におけるサンプル効率を向上させる学習ベースのサンプリング手法であるNeural Experience Replay Sampler（NERS）を提案する。NERSは置換に不変なニューラルネットワークを用いて、多様で意味のある遷移を選択し、連続的および離散的制御ベンチマークにおいて複数のオフポリシーRLアルゴリズムで顕著な性能向上を達成する。

ABSTRACT

Experience replay, which enables the agents to remember and reuse experience from the past, has played a significant role in the success of off-policy reinforcement learning (RL). To utilize the experience replay efficiently, the existing sampling methods allow selecting out more meaningful experiences by imposing priorities on them based on certain metrics (e.g. TD-error). However, they may result in sampling highly biased, redundant transitions since they compute the sampling rate for each transition independently, without consideration of its importance in relation to other transitions. In this paper, we aim to address the issue by proposing a new learning-based sampling method that can compute the relative importance of transition. To this end, we design a novel permutation-equivariant neural architecture that takes contexts from not only features of each transition (local) but also those of others (global) as inputs. We validate our framework, which we refer to as Neural Experience Replay Sampler (NERS), on multiple benchmark tasks for both continuous and discrete control tasks and show that it can significantly improve the performance of various off-policy RL methods. Further analysis confirms that the improvements of the sample efficiency indeed are due to sampling diverse and meaningful transitions by NERS that considers both local and global contexts.

研究の動機と目的

• 既存のルールベースおよび独立した学習ベースのサンプリング手法における経験リプレイの限界、特に偏りや重複したサンプリングを解消すること。
• 局所的特徴とグローバルな文脈の両方を考慮して遷移の相対的重要性を学習することで、オフポリシー強化学習におけるサンプル効率を向上させること。
• 動的かつバランスの取れた多様性と意味のあるサンプリングを実現するニューラルサンプリング方策を開発すること。
• 局所的およびグローバルな文脈を用いた相対的重要性のモデル化が、多様なRLアルゴリズムにおいて優れた性能をもたらすことを検証すること。

提案手法

• NERSは、遷移特徴の集合を入力とし、入力順序に対して不変性を保ちつつ、遷移間の相関関係をモデル化できる置換に不変なニューラルネットワークアーキテクチャを採用する。
• モデルは局所的特徴（例：TD誤差、Q値、元の状態-行動-報酬）と、すべてのサンプル済み遷移の特徴を集約したグローバル文脈を用いて、各遷移の相対的重要性スコアを計算する。
• 重要性スコアは、エージェントの報酬を最大化する微分可能な目的関数を介してエンドツーエンドで学習され、勾配ベースの最適化によってサンプリング方策が最適化可能である。
• 本手法は、SAC、TD3、Rainbowなどの既存のオフポリシーRLアルゴリズムに統合され、標準的なリプレイサンプリング戦略に置き換わる。
• NERSは、エージェントの報酬を代理信号として用いる自己教師型学習により訓練され、明示的な教師信号なしに効果的なサンプリングパターンを学習可能である。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな文脈を統合的にモデル化するニューラルサンプリング方策は、オフポリシー強化学習におけるサンプル効率を向上させることができるか？
• RQ2 遷移間の相対的重要性を学習することで、独立的またはルールベースのサンプリング戦略よりも優れた性能が得られるか？
• RQ3 NERSは、連続的および離散的制御タスクの多様な環境において、先行する学習ベースおよびルールベースのサンプリング手法と比較してどのように差をつけるか？
• RQ4 サンプリングにおいて多様性と意味のある遷移の両方を考慮することは、性能向上にどの程度寄与するか？

主な発見

• NERSは、連続的および離散的制御ベンチマークにおいて、SAC、TD3、Rainbowを含む複数のオフポリシーRLアルゴリズムで、サンプル効率および最終的な性能を顕著に向上させる。
• 特に中間状態の探索を要する環境では、標準的なランダムサンプリングやルールベースの優先順位付き経験リプレイ（PER）と比較して、顕著な性能向上を達成する。
• アブレーションスタディの結果、NERSの性能向上は、局所的およびグローバルな文脈を用いた相対的重要性のモデル化によって、多様で意味のある遷移を選択できる能力に起因することが確認された。
• 個々の遷移特徴のみを考慮する先行の学習ベースのサンプリング手法よりも優れていることから、グローバル文脈のモデル化の必要性が示された。
• 異なるRLアルゴリズムや環境においても安定した性能を示すため、本フレームワークは特定のアーキテクチャに依存せず、広範な適用可能性を有する。