[論文レビュー] Soft Hindsight Experience Replay

Qiwei He, Liansheng Zhuang+1 more|arXiv (Cornell University)|Feb 6, 2020

Reinforcement Learning in Robotics参考文献 23被引用数 11

ひとこと要約

本稿では、スパースリワード連続制御環境における学習安定性と性能を向上させるために、最大エントロピー強化学習（MERL）をアンコンシャスエクスペリエンスリプレイ（HER）に統合した新規手法、ソフトハーディングエクスペリエンスリプレイ（SHER）を提案する。決定的ポリシー学習を確率的推論に置き換えることで、SHERはOpenAI Gymの挑戦的であるHandManipulationタスクにおいて、HER や CHER よりも高速な収束と著しく低いランダムシードに依存するばらつきを示し、最先端の性能を達成する。

ABSTRACT

Efficient learning in the environment with sparse rewards is one of the most important challenges in Deep Reinforcement Learning (DRL). In continuous DRL environments such as robotic arms control, Hindsight Experience Replay (HER) has been shown an effective solution. However, due to the brittleness of deterministic methods, HER and its variants typically suffer from a major challenge for stability and convergence, which significantly affects the final performance. This challenge severely limits the applicability of such methods to complex real-world domains. To tackle this challenge, in this paper, we propose Soft Hindsight Experience Replay (SHER), a novel approach based on HER and Maximum Entropy Reinforcement Learning (MERL), combining the failed experiences reuse and maximum entropy probabilistic inference model. We evaluate SHER on Open AI Robotic manipulation tasks with sparse rewards. Experimental results show that, in contrast to HER and its variants, our proposed SHER achieves state-of-the-art performance, especially in the difficult HandManipulation tasks. Furthermore, our SHER method is more stable, achieving very similar performance across different random seeds.

研究の動機と目的

• スパースリワード連続制御環境、特に複雑なロボット操作タスクにおいて、アンコンシャスエクスペリエンスリプレイ（HER）の不安定さと収束不良を解消すること。
• 最大エントロピー強化学習（MERL）をHERフレームワークに統合することで、深層強化学習における学習安定性と収束性を向上させること。
• MERLの確率的性質が、カリキュラム学習やその他の補助的テクニックに依存せずに、マルチゴール強化学習における性能と耐性を向上させられるかどうかを評価すること。
• MERLにおける温度ハイパーパrameterが、SHERの性能と安定性に与える影響を、さまざまな環境で分析すること。

提案手法

• SHERは、アンコンシャスエクスペリエンスリプレイ（HER）と最大エントロピー強化学習（MERL）を組み合わせ、決定的ポリシー学習を確率的ポリシー最適化に置き換えることで、探索性と安定性を向上させる。
• 本手法は、確率的推論に基づくソフトな目的関数を導出する。達成されたゴールを潜在的なゴールとして扱い、エントロピー正則化を施すことで、多様で頑健なポリシー学習を促進する。
• SHERは、ソフトQ学習とソフトアクタクリティックの原則を活用し、確率的フレームワーク下でポリシーを最適化することで、非ゼロの行動確率と滑らかなポリシー更新を保証する。
• 本アルゴリズムは、失敗したトラジェクトリを再利用するが、元のゴールを達成されたゴールに置き換え、エントロピー正則化された価値関数に基づくソフトターゲットを割り当てる。
• 温度ハイパーパrameter α は、活用と探索のトレードオフを制御する。アブレーションスタディにより、これが性能と収束性において極めて重要な役割を果たすことが示された。
• フレームワークは、FetchおよびHandManipulation環境を含むOpenAI Gymのロボット操作スイートで評価され、成功確率とδS（安定性指標）が主な評価指標として用いられた。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー強化学習（MERL）をアンコンシャスエクスペリエンスリプレイ（HER）に統合することで、スパースリワードロボット制御タスクにおける学習安定性と収束性が向上するか？
• RQ2 提案されたSHER手法は、カリキュラム学習や教師データを用いずに、HERやその変種（CHER）を上回る性能を達成できるか？
• RQ3 MERLにおける温度ハイパーパrameter α が、さまざまな環境におけるSHERの性能と安定性に与える影響はいかほどか？
• RQ4 SHERは、異なるランダムシードに依存するばらつきをどの程度低減できるか？ これは、より高い耐性を示す。
• RQ5 SHERにおける確率的推論は、マルチゴールRL設定において、より一貫性があり信頼性の高いポリシー学習を可能にするか？

主な発見

• SHERは、OpenAI Gymのロボット操作ベンチマークで、HER や CHER を上回る最先端の性能を達成し、評価された8つの環境すべてで優れた結果を示した。特に、最も困難なHandManipulationタスクにおいて顕著な優位性を示した。
• HandManipulateEggFull環境では、SHERの平均成功確率は0.098であり、HER（0.145）やCHER（0.109）を上回った。これは、高難易度タスクにおける優れた性能を示している。
• SHERは、すべてのタスクでHER や CHER よりも高速に収束し、学習曲線が滑らかで一貫性のある進行を示した。
• 安定性指標δS（訓練成功確率とテスト成功確率の絶対差）は、8つの環境のうち7つでSHERが低く抑えられ、ランダムシードに依存するばらつきが低減され、耐性が向上していることを示した。
• 温度ハイパーパrameter α は性能に顕著な影響を与える。FetchSlideではα = 0.05が最良の結果をもたらしたが、α = 0.1では性能が悪化した。これは、ハイパーパrameterの慎重なチューニングの重要性を示している。
• SHERは、カリキュラム学習や教師データなどの補助的技術を一切使用せず、CHERを上回る性能を達成した。これは、提案された確率的フレームワークそのものの有効性を証明している。