[論文レビュー] Hindsight Generative Adversarial Imitation Learning

Naijun Liu, Tao Lü+3 more|arXiv (Cornell University)|Mar 19, 2019

Reinforcement Learning in Robotics参考文献 46被引用数 6

ひとこと要約

本論文は、後向き変換を用いて自己合成されたエキスパートに似た軌道を生成することで、エキスパートの示唆なしに制御方策の学習を可能にする、新しい模倣学習フレームワークであるHindsight Generative Adversarial Imitation Learning (HGAIL)を提案する。GAILフレームワークに後向き経験リプレイを統合することで、エージェント自身のロールアウトから高品質でタスク関連の高い模倣データを動的に生成し、内蔵されたカリキュラムメカニズムを備えた安定的でサンプル効率の高い方策学習を実現する。その結果、教師あり模倣学習手法と同等の性能を達成する。

ABSTRACT

Compared to reinforcement learning, imitation learning (IL) is a powerful paradigm for training agents to learn control policies efficiently from expert demonstrations. However, in most cases, obtaining demonstration data is costly and laborious, which poses a significant challenge in some scenarios. A promising alternative is to train agent learning skills via imitation learning without expert demonstrations, which, to some extent, would extremely expand imitation learning areas. To achieve such expectation, in this paper, we propose Hindsight Generative Adversarial Imitation Learning (HGAIL) algorithm, with the aim of achieving imitation learning satisfying no need of demonstrations. Combining hindsight idea with the generative adversarial imitation learning (GAIL) framework, we realize implementing imitation learning successfully in cases of expert demonstration data are not available. Experiments show that the proposed method can train policies showing comparable performance to current imitation learning methods. Further more, HGAIL essentially endows curriculum learning mechanism which is critical for learning policies.

研究の動機と目的

• 模倣学習におけるエキスパートの示唆データの高コストおよび希少性という課題に対処すること。
• いかなるエキスパートの示唆もなしに、効果的な方策学習を可能にする手法を開発すること。
• トレーニング中に高品質でタスク関連の高い模倣データを生成する自己教師付きメカニズムを導入すること。
• 学習プロセスに暗黙のカリキュラムメカニズムを組み込み、トレーニングの安定性と方策性能を向上させること。
• シミュレーションで学習した方策を、微調整なしに現実世界のロボットに直接展開可能かどうかを検証すること。

提案手法

• ロールアウトをエキスパートに似た軌道に変換するため、後向き経験リプレイ（HER）をGAILフレームワークに統合する。
• 識別器の出力を方策最適化の報酬信号として使用し、報酬関数を $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $ として定義する。
• GAN識別器のトレーニングにおいて、エージェント自身のロールアウトをネガティブサンプルとし、後向き変換された軌道をポジティブサンプルとして扱う。
• トレーニングの異なる段階で後向き変換を動的に適用し、段階的に正確な合成模倣データを生成する。
• より簡単かつ初期のロールアウトから順に変換を適用するカリキュラム学習メカニズムを採用し、徐々に品質と複雑さを向上させる。
• 外部のエキスパートの示唆やデータを一切使用せず、エージェントの環境との相互作用データ（ロールアウト）のみに依存するため、完全に自己教師付きである。

実験結果

リサーチクエスチョン

• RQ1 エキスパートの示唆データが一切ない状況でも、模倣学習を成功裏に実行できるか？
• RQ2 後向き変換が、エージェント自身のロールアウトから高品質な合成エキスパート模倣データを効果的に生成できるか？
• RQ3 後向き軌道の動的合成が、方策学習の安定性と性能を向上させる暗黙のカリキュラムを形成するか？
• RQ4 HGAILを用いて学習した方策は、追加の微調整なしに現実世界のロボットシステムに一般化可能か？
• RQ5 報酬関数の選択が、HGAILフレームワークにおける方策の収束性と性能に与える影響は何か？

主な発見

• HGAILアルゴリズムは、いかなるエキスパートの示唆も使用せず方策を学習でき、標準的な模倣学習手法と同等の性能を達成した。
• 実世界の到達タスクにおいて、HGAILで学習した方策は $ 0.95 \pm 0.03 $ の成功率と $ 0.01 \pm 0.01 $ メートルの距離誤差を達成した。
• 実世界の摑みタスクにおいて、方策は $ 0.93 \pm 0.04 $ の成功率と $ 0.02 \pm 0.01 $ メートルの距離誤差を示し、強力なシミュレーションから現実への一般化を示した。
• 報酬関数 $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $ が、成功率および距離誤差の観点で最も速い収束と最良の全体的性能をもたらした。
• 後向き変換のカリキュラム的進行は、方策性能を顕著に向上させ、暗黙のカリキュラムメカニズムの重要性を示した。
• 本手法はサンプル効率が高く、外部データや示唆なしにエージェントの環境との相互作用データ（ロールアウト）のみに依存する。