[論文レビュー] Policy Continuation with Hindsight Inverse Dynamics

Hao Sun, Zhizhong Li+3 more|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、自己模倣による後向き逆運動学を用いて、ゴール指向強化学習におけるサンプル効率を向上させる新しい手法である、後向き逆運動学を用いたポリシー継続（PCHID）を提案する。逆運動学を用いて再ラベル付けされた遷移から行動を学習することで、PCHIDはオンポリシーおよびオフポリシーのアルゴリズムの両方を向上させ、GridWorldおよびFetchReach環境においてPPOおよびHERよりも優れた性能とデータ効率を達成する。

ABSTRACT

Solving goal-oriented tasks is an important but challenging problem in reinforcement learning (RL). For such tasks, the rewards are often sparse, making it difficult to learn a policy effectively. To tackle this difficulty, we propose a new approach called Policy Continuation with Hindsight Inverse Dynamics (PCHID). This approach learns from Hindsight Inverse Dynamics based on Hindsight Experience Replay, enabling the learning process in a self-imitated manner and thus can be trained with supervised learning. This work also extends it to multi-step settings with Policy Continuation. The proposed method is general, which can work in isolation or be combined with other on-policy and off-policy algorithms. On two multi-goal tasks GridWorld and FetchReach, PCHID significantly improves the sample efficiency as well as the final performance.

研究の動機と目的

• スパarsな報酬が課題となるゴール指向強化学習において、標準的手法が経験収集が非効率であるため、その課題に対処すること。
• 時系列差分やポリシー勾配最適化に依存せずに、オンポリシーおよびオフポリシーの両方のアルゴリズムを向上させる汎用的メソッドを開発すること。
• 失敗から後向き再ラベル付けと逆運動学を用いて学習することで、データ効率を向上させること。
• 後向き経験再生（HER）をオンポリシー設定に拡張するために、逆運動学に基づく自己模倣メカニズムを導入すること。
• 状態-ゴール空間におけるサブポリシー学習を通じてポリシー継続を実現し、階層的およびカリキュラムスタイルの学習を可能にすること。

提案手法

• 状態-ゴール空間を分割することで、中間ゴール用のサブポリシーを学習する多ゴール強化学習のためのフレームワークとしてポリシー継続（PC）を導入する。
• 失敗した遷移を後向きゴールに再ラベル付けすることで、逆運動学を拡張した後向き逆運動学（HID）を提案する。これにより、状態と次の状態のペアから行動を予測できる。
• 自己模倣を通じた誤差逆伝播を用いて、時系列差分やポリシー勾配に依存せずに、後向き再ラベル付けされた遷移上で教師あり学習によりポリシーネットワークを訓練する。
• PCHIDをオンポリシー（例：PPO）およびオフポリシーのアルゴリズムと統合可能なプラグインモジュールとして統合し、共同学習、出力平均化、または内部報酬形状の調整によって統合する。
• リプレイバッファを用いて、元の遷移と再ラベル付けされた遷移を両方保存する。再ラベル付けでは、ロールアウト中に観測された代替ゴールに成功を割り当てる。
• 状態とゴールの埋め込みを用いて連続制御タスクに適用する。行動予測は、再ラベル付けされた遷移上で教師あり学習により訓練する。

実験結果

リサーチクエスチョン

• RQ1 従来、時系列差分学習に依存するオンポリシー強化学習アルゴリズムに、後向き知識を効果的に拡張できるか？
• RQ2 後向き再ラベル付けを用いて、ゴール指向設定における逆運動学を適応させることで、スパarsな報酬からのポリシー学習を改善できるか？
• RQ3 後向き逆運動学に基づく自己模倣が、多ゴール強化学習タスクにおけるサンプル効率および最終的性能を顕著に向上させるか？
• RQ4 PCHIDは、アーキテクチャや学習スキームの変更なしに、さまざまなオンポリシーおよびオフポリシーのアルゴリズムと柔軟に統合できるか？
• RQ5 報酬スケーリングに対する感受性を除き、PCHIDは学習速度、成功確率、およびロバストネスの観点でHERおよびPPOと比較して優れているか？

主な発見

• PCHIDは、FetchReach環境におけるサンプル効率を顕著に向上させ、標準的なPPOおよびHERベースのPPOを上回る。特に初期学習段階で顕著な改善が見られる。
• PPOとの共同学習戦略により、PCHIDはすべての組み合わせ手法の中で最高の性能を達成し、ハイパーパramータチューニングの必要がない。
• PCHIDは報酬スケーリングに対してロバストである：PPOとは異なり、報酬の大きさ（例：10 vs. 0）に敏感ではなく、報酬値に関係なく一貫した性能を維持する。
• GridWorldでは、PPOと組み合わせたPCHIDはPPO単体よりも高い正確性を達成し、共同学習戦略は出力平均化や内部報酬手法を上回る。
• PCHIDをHERベースのPPOと組み合わせることで、最高の最終的性能が得られ、PCHIDが既存のオフポリシー手法と効果的に補完できることを示している。
• 本手法は環境間で一般化性が高く、離散的（GridWorld）および連続的制御（FetchReach）の両タスクで一貫した改善を示している。