[論文レビュー] PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals

Henry Charlesworth, Giovanni Montana|arXiv (Cornell University)|Jun 1, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 18

ひとこと要約

PlanGAN は、条件付き GAN のアンサンブルを用いて現実的で目標指向の軌道を生成するモデルベース強化学習アルゴリズムであり、スパarsely-reward で多目的な環境において効率的な計画を可能にする。これは、Hindsight Experience Replay (HER) のような最先端のモデルフリー手法と同等のパフォーマンスを達成するが、4–8倍のデータ収集効率が向上する。

ABSTRACT

Learning with sparse rewards remains a significant challenge in reinforcement learning (RL), especially when the aim is to train a policy capable of achieving multiple different goals. To date, the most successful approaches for dealing with multi-goal, sparse reward environments have been model-free RL algorithms. In this work we propose PlanGAN, a model-based algorithm specifically designed for solving multi-goal tasks in environments with sparse rewards. Our method builds on the fact that any trajectory of experience collected by an agent contains useful information about how to achieve the goals observed during that trajectory. We use this to train an ensemble of conditional generative models (GANs) to generate plausible trajectories that lead the agent from its current state towards a specified goal. We then combine these imagined trajectories into a novel planning algorithm in order to achieve the desired goal as efficiently as possible. The performance of PlanGAN has been tested on a number of robotic navigation/manipulation tasks in comparison with a range of model-free reinforcement learning baselines, including Hindsight Experience Replay. Our studies indicate that PlanGAN can achieve comparable performance whilst being around 4-8 times more sample efficient.

研究の動機と目的

• 報酬が稀で複数の目標が存在する強化学習環境において、標準的手法がフィードバックが稀であるために困難を抱える問題に対処する。
• HER のようなモデルフリー手法のデータ収集非効率性を克服するため、軌道情報をより効果的に活用するモデルベースの代替手法を導入する。
• 望ましい目標に条件づけられた多様で現実的な将来の軌道を生成する手法を開発し、実環境との直接的相互作用なしに効率的な計画を可能にする。
• 動的モデルを学習して、ロボットの操作およびナビゲーションタスクにおけるデータ効率を向上させ、想像上の軌道を用いた計画を実現する。
• モデルベース計画に条件付き GAN を用いることで、モデルフリー手法と同等の漸近的パフォーマンスを達成しつつ、はるかに少ない環境相互作用回数で実現できることを示す。

提案手法

• 初期状態と目的の目標に条件づけた将来の軌道を生成するために、生成対抗ネットワーク（GAN）のアンサンブルを学習し、現実的な行動および状態のシーケンスを生成するように学習する。
• 短い時間スパンにおける生成軌道の正確性と一貫性を向上させるために、GAN 学習中に1ステップ予測モデルを正則化子として使用する。
• 各ステップで、生成された軌道の尤度と目標到達可能性に基づいてスコアを付け、最適な行動を選択する計画アルゴリズムを実装する。
• 実環境との相互作用なしに将来の結果をシミュレートするモンテカルロ風の計画プロセスとして、生成された軌道を統合する。
• 軌道中に観測された任意の目標は、その目標を達成するための初期状態として以前の状態を再定義できるという事実を活用し、HER と同様のフレームワークをモデルベースで実現する。
• 複数の想像上の軌道をロールアウトすることで、各候補行動の成功確率を評価し、目標に向かう期待報酬が最大となる行動を選択する計画者を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルフリー手法（例：HER）と同等のパフォーマンスを達成しつつ、スパarsely-reward で多目的な環境において顕著にデータ収集効率の高いモデルベースアプローチが可能か？
• RQ2 条件付き GAN は、複雑な制御タスクにおける計画のための多様で現実的かつ目標指向の軌道を生成するのにどの程度有効か？
• RQ3 計画モジュールの性能に与える影響は何か？また、性能に損なわれることなく置き換えや簡素化が可能か？
• RQ4 アンサンブル内の GAN の数が、長時間スケールのタスクにおける学習安定性と最終パフォーマンスに与える影響は？
• RQ5 1ステップ予測モデルを正則化子として組み込むことで、生成された軌道の品質と信頼性がどの程度向上するか？

主な発見

• PlanGAN は、スパarsely-reward で多目的な強化学習の分野で現在の最先端のモデルフリー手法 Hindsight Experience Replay (HER) と同等のパフォーマンスを達成する。
• 複数のロボット操作およびナビゲーションタスクにおいて、PlanGAN は HER よりも 4–8 倍のデータ収集効率を示し、同じパフォーマンスに到達するための環境相互作用回数が著しく少ない。
• 専用の計画モジュールの存在が不可欠である：計画モジュールを削除して GAN が予測する行動を直接使用すると、成功確率が著しく低下し、計画モジュールが軌道評価と行動選択に果たす役割が明確に示された。
• 5 個の GAN からなるアンサンブルは、1 つまたは 3 個の GAN アンサンブルよりもわずかに優れたパフォーマンスを示すが、その改善は限定的であり、適切な範囲内でのアンサンブルサイズに対して頑健であることが示された。
• 1ステップ予測モデル正則化子はわずかな改善しかもたらさないため、性能の観点では重要な要素ではないが、学習安定性の向上に寄与する可能性がある。
• 自己生成のデモンストレーション（SLD と同様）が利用できない状況でも、PlanGAN はデータ収集効率においてその手法を上回り、スパarsely-reward 環境における生成的計画手法の強力さを示した。