[論文レビュー] Population-Guided Parallel Policy Search for Reinforcement Learning

Whiyoung Jung, Giseung Park+1 more|arXiv (Cornell University)|Jan 9, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 6

ひとこと要約

本稿では、複数の同一の学習者が共通の経験リプレイバッファを共有し、最良のパフォーマンスを示す方策からのソフトなガイダンスを受けて協働的に最適方策を探索する、新しいオフポリシー強化学習フレームワークであるP3S（Population-Guided Parallel Policy Search）を提案する。最良のパフォーマンスを示す方策の行動を修正された損失関数に組み込み、方策の多様性を維持することで、P3Sは収束が速く、特に報酬がスパarsityな環境において優れた性能を発揮する。また、期待累積報酬の面で単調な改善を保証する。

ABSTRACT

In this paper, a new population-guided parallel learning scheme is proposed to enhance the performance of off-policy reinforcement learning (RL). In the proposed scheme, multiple identical learners with their own value-functions and policies share a common experience replay buffer, and search a good policy in collaboration with the guidance of the best policy information. The key point is that the information of the best policy is fused in a soft manner by constructing an augmented loss function for policy update to enlarge the overall search region by the multiple learners. The guidance by the previous best policy and the enlarged range enable faster and better policy search. Monotone improvement of the expected cumulative return by the proposed scheme is proved theoretically. Working algorithms are constructed by applying the proposed scheme to the twin delayed deep deterministic (TD3) policy gradient algorithm. Numerical results show that the constructed algorithm outperforms most of the current state-of-the-art RL algorithms, and the gain is significant in the case of sparse reward environment.

研究の動機と目的

• 報酬がスパarsityな強化学習環境における学習の遅さと非最適性の課題に対処すること。
• 複数エージェント間の協働学習を活用することで、オフポリシー深層強化学習におけるサンプル効率と収束速度を向上させること。
• 方策空間における幅広い探索領域を維持し、局所最適解への過早収束を回避すること。
• 既存のオフポリシーアルゴリズム（例：TD3）に理論的裏付けのあるモジュラーな拡張を提供し、期待報酬の単調な改善を保証すること。
• アーキテクチャの変更なしに、実用的でスケーラブルかつ容易に実装可能な並列学習を可能にすること。

提案手法

• 独立した方策および価値関数パラメータを有する複数の同一の学習者が、1つの共通の経験リプレイバッファを共有する。
• リーダーは定期的に全学習者の中から最良のパフォーマンスを示す方策を特定し、そのパラメータをソフトガイダンスとしてブロードキャストする。
• 修正された方策更新損失関数に、各学習者の方策が最良のパフォーマンスを示す方策に近づくよう促す正則化項を組み込み、可学習重みβを用いる。
• 各学習者の方策と最良のパフォーマンスを示す方策との間の最小距離制約（d_min）を課し、方策空間における多様性を維持し、探索領域の崩壊を防ぐ。
• TD3に適用する場合、方策損失を次のように変更する：L̃(ϕⁱ) = -𝔼[Q₁(s,πϕⁱ(s))] + 1_{i≠b} (β/2) ||πϕⁱ(s) - πϕᵇ(s)||²。
• Mステップごとに周期的な更新スキームを用い、最良のパフォーマンスを示す方策を再評価し、ガイダンス強度βを適応的に調整する。

実験結果

リサーチクエスチョン

• RQ1 ソフトな方策ガイダンスを用いた協働学習は、オフポリシー深層強化学習におけるサンプル効率と収束速度を向上させるか？
• RQ2 距離制約による方策多様性の維持は、過早収束を防ぎ、最終的なパフォーマンスを向上させるか？
• RQ3 集団ガイド付きアプローチにより、訓練ステップ全体にわたり期待累積報酬の単調な改善が保証されるか？
• RQ4 本手法は、報酬がスパarsityな環境において、最先端のオフポリシーアルゴリズムと比較して優れた性能を示すか？
• RQ5 P3Sフレームワークは、アーキテクチャの変更なしに、TD3などの既存のオフポリシーアルゴリズムに効果的かつモジュラーに統合可能か？

主な発見

• P3S-TD3は、複数のMuJoCo環境において、標準的なTD3および他の最先端のアルゴリズムと比較して、より速い収束と高い最終的パフォーマンスを達成した。
• 特に、報酬がスパarsityな環境（例：Delayed HalfCheetah-v1 や Delayed Ant-v1）では、サンプル効率が極めて重要となるため、性能向上が顕著に現れた。
• 理論的にも証明されたように、期待累積報酬の面で単調な改善を示し、時間経過に伴うパフォーマンスの低下がなかった。
• ソフトガイダンスと距離制約の併用により、探索領域の崩壊が防止され、広範な探索領域が維持され、方策の多様性が向上した。
• ハイパーパramータチューニングの結果、環境に応じてd_min = 0.02または0.05が最適であり、βはガイダンスと探索のバランスを取るために適応的に調整された。
• 本手法は、アーキテクチャの変更なしに、TD3を含む任意のオフポリシーRLアルゴリズムに最小限の修正で適用可能であり、実用的で汎用的であることが示された。