[論文レビュー] Experience Replay Optimization

Daochen Zha, Kwei-Herng Lai+2 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 16

ひとこと要約

本稿では、オフポリシー強化学習におけるサンプル効率を向上させるために、リプレイバッファ内の最も有用な経験を選択するリプレイポリシーを学習するフレームワーク、経験リプレイ最適化（ERO）を提案する。累積報酬フィードバックを用いて、エージェントポリシーとリプレイポリシーを交互に最適化することで、8つの連続的制御タスクにおいて、一様およびルールベースのリプレイ戦略を凌駆する。

ABSTRACT

Experience replay enables reinforcement learning agents to memorize and reuse past experiences, just as humans replay memories for the situation at hand. Contemporary off-policy algorithms either replay past experiences uniformly or utilize a rule-based replay strategy, which may be sub-optimal. In this work, we consider learning a replay policy to optimize the cumulative reward. Replay learning is challenging because the replay memory is noisy and large, and the cumulative reward is unstable. To address these issues, we propose a novel experience replay optimization (ERO) framework which alternately updates two policies: the agent policy, and the replay policy. The agent is updated to maximize the cumulative reward based on the replayed data, while the replay policy is updated to provide the agent with the most useful experiences. The conducted experiments on various continuous control tasks demonstrate the effectiveness of ERO, empirically showing promise in experience replay learning to improve the performance of off-policy reinforcement learning algorithms.

研究の動機と目的

• オフポリシー強化学習における一様およびルールベースのリプレイ戦略の性能が最適でないという問題に対処する。
• ノイズが多く、大きなリプレイバッファから最も有用な経験を動的に選択する問題として、経験リプレイを定式化する。
• 累積報酬を最大化するために、エージェントポリシーとリプレイポリシーを交互に最適化する一般化されたフレームワークを開発する。
• DDPGのようなオフポリシー手法におけるサンプル効率と学習安定性を向上させるために、適応的リプレイ戦略の学習を実現する。
• 学習ベースのリプレイポリシーが、連続的制御タスクにおけるヒューリスティック戦略（例：優先順位付き経験リプレイ（PER））を上回る可能性があるかどうかを調査する。

提案手法

• エージェントポリシーとリプレイポリシーを交互に更新する二重ポリシー枠組みを提案する。
• リプレイバッファの遷移に対して優先度ベクトルを維持し、効率的なリプレイのための経験サブセットをサンプリングする。
• リプレイ経験からの累積報酬の向上に基づいて、ポリシー勾配法を用いてリプレイポリシーを更新する。
• リプレイデータに対するエージェントのパフォーマンスをフィードバック信号として用い、リプレイポリシーを最適化する。
• EROフレームワークをDDPGアルゴリズムに適用し、具体的な例として、オフポリシー学習ループにリプレイポリシー学習を統合する。
• 環境からのフィードバック（累積報酬）を信号として活用し、タスク固有のダイナミクスに適応可能なリプレイポリシー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習されたリプレイポリシーは、オフポリシーRLにおけるサンプル効率の向上において、一様およびルールベースのリプレイ戦略を凌駆できるか？
• RQ2 EROのパフォーマンスは、標準的なDDPGおよび優先順位付き経験リプレイ（PER）と比較して、連続的制御タスクでどのように異なるか？
• RQ3 学習されたリプレイポリシーが優先する特徴（例：TD誤差、報酬、最近性）は何か、そしてタスク間でどのように変化するか？
• RQ4 リプレイポリシーは、最近のまたは高報酬の遷移を好むよう学習するか？その影響は学習安定性および収束性にどう現れるか？
• RQ5 リプレイポリシーは異なるタスクやアルゴリズムに適応可能か？また、環境ノイズやバッファサイズの変動に対しても頑健か？

主な発見

• EROは、OpenAI Gymの8つの連続的制御タスクにおいて、バニラDDPGおよびルールベース戦略と比較して、一貫してサンプル効率と累積報酬を向上させる。
• EROにおける学習されたリプレイポリシーは、TD誤差が低く、最近の経験を優先する傾向を示しており、高TD誤差のものよりも、理解が深く、最新の遷移を優先していることが示唆される。
• PERで提案されたように、高TD誤差の遷移を優先するという理論的利点は魅力的であるが、EROの結果から、このようなヒューリスティクスは一般化しにくく、実際には最適でない可能性があることが示された。
• 訓練が進行するに従い、リプレイポリシーはより最近のおよびより高い報酬の遷移をより多くサンプリングするよう学習し、直感的な学習ダイナミクスと整合する。
• 評価されたタスクにおいて、PERに基づく手法はDDPGで満足のいくパフォーマンスを示さなかった。これは、ルールベースの優先順位付けが、すべてのアルゴリズムや環境で有効ではない可能性を示している。
• 実験的に、累積報酬フィードバックに基づくリプレイポリシーの学習が、静的ヒューリスティクスよりも効果的な経験再利用をもたらすことが裏付けられた。