[論文レビュー] Variance-Reduced Off-Policy Memory-Efficient Policy Search

Daoming Lyu, Qi Qi+4 more|arXiv (Cornell University)|Sep 14, 2020

Reinforcement Learning in Robotics参考文献 43被引用数 4

ひとこと要約

本稿では、確率的再帰的モーメンタム（STORM）を強化学習の強化学習フレームワーク（ACE/GeoffPAC）と組み合わせた、初めての分散低減・オフポリシー・メモリ効率の良い方策勾配アルゴリズムであるVOMPSとACE-STORMを提案する。大規模な参照サンプルセットの必要性を排除し、安定したオフポリシー学習を可能にすることで、従来のオンポリシーまたはメモリ集約的な手法よりも高速な収束と低い分散を達成した。実験結果では、優れたサンプル効率と行動ノイズに対するロバスト性を示した。

ABSTRACT

Off-policy policy optimization is a challenging problem in reinforcement learning (RL). The algorithms designed for this problem often suffer from high variance in their estimators, which results in poor sample efficiency, and have issues with convergence. A few variance-reduced on-policy policy gradient algorithms have been recently proposed that use methods from stochastic optimization to reduce the variance of the gradient estimate in the REINFORCE algorithm. However, these algorithms are not designed for the off-policy setting and are memory-inefficient, since they need to collect and store a large ``reference'' batch of samples from time to time. To achieve variance-reduced off-policy-stable policy optimization, we propose an algorithm family that is memory-efficient, stochastically variance-reduced, and capable of learning from off-policy samples. Empirical studies validate the effectiveness of the proposed approaches.

研究の動機と目的

• オフポリシー方策最適化における高い分散とメモリ非効率性という二重の課題に対処する。
• 大規模な参照バッチを保存せずに、オフポリシーデータから安定した分散低減型の学習を可能にする。
• 収束性とメモリ効率の両方を満たす、初めてのオフポリシー分散低減型方策勾配手法を開発する。
• STORMの再帰的モーメンタムをオフポリシー方策評価フレームワーク（ACE/GeoffPAC）と統合し、安定で低分散の更新を実現する。
• 現在の確率的勾配と過去の反復からのモーメンタムを組み合わせた再帰的勾配更新を適用し、古いデータの再処理なしに分散低減を実現する。
• 勾配推定において重要度サンプリングとオフポリシー補正を適用し、行動方策データからの学習における安定性を維持する。

提案手法

• 固定された参照バッチを必要とせず、再帰的モーメンタムを用いることで分散を低減する確率的分散低減技術STORMを活用し、大規模なサンプルセットの保存を回避する。
• STORMをオフポリシー方策評価フレームワークACEおよびGeoffPACと統合し、オフポリシー学習における安定性を確保する。
• ACEおよびGeoffPACで強調重み付け（emphatic weighting）を用いて、行動方策とターゲット方策の分布シフトを補正し、オフポリシー収束性を向上させる。
• VOMPSを分散低減型オフポリシー方策勾配手法として、ACE-STORMを分散低減型方策評価変種として設計し、両者ともに参照サンプルの保存を回避する。
• 現在の確率的勾配と過去の反復からのモーメンタムを組み合わせた再帰的勾配更新を適用し、古いデータの再処理なしに分散低減を実現する。
• 勾配推定において重要度サンプリングとオフポリシー補正を適用し、行動方策データからの学習における安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 大規模なメモリを要する参照サンプルセットが不要な状況で、確率的分散低減がオフポリシー方策学習に効果的に適用可能か？
• RQ2 STORMの再帰的モーメンタム機構がオフポリシー方策評価フレームワークと統合可能であり、分散低減とメモリ効率の両立を達成できるか？
• RQ3 提案手法は、既存のオンポリシー分散低減手法およびオフポリシーベースラインと比較して、サンプル効率と安定性に優れているか？
• RQ4 提案手法は、オフポリシー設定における行動ノイズおよび分布シフトに対してロバスト性を維持できるか？
• RQ5 STORMと強調重み付けの組み合わせにより、連続制御タスクにおける安定で収束性があり、低分散な方策最適化が可能になるか？

主な発見

• VOMPSおよびACE-STORMは、CartPoleContinuous-v0で約20万サンプルでほぼ最適性能を達成し、SVRPGやSRVR-PGが40万サンプル以上を必要とするのに対し優れている。
• Hopper-v2およびHalfCheetah-v2では、VOMPSおよびACE-STORMがSVRPG、SRVR-PG、DDPG、TD3よりも高速に収束し、より高いモンテカルロリターンを達成し、顕著に低い分散を示した。
• VOMPSおよびACE-STORMの学習曲線は、GeoffPAC、DDPG、TD3よりも滑らかく安定しており、収束性の優位性を示している。
• 20％の行動ノイズ条件下でも、VOMPSおよびACE-STORMは優れたロバスト性を示し、安定して効果的であり、他の手法は著しく劣化した。
• ACE-STORMおよびVOMPSは、テストされたすべての手法の中で最高のノイズ耐性を示し、現実の摂動における確率的分散低減の有効性を確認した。
• 提案手法は、オフポリシー安定性、分散低減、メモリ効率の3つを同時に達成した最初の手法であり、サンプル効率と安定性の面で、既存のオンポリシー分散低減手法を凌駒した。