[論文レビュー] Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model

Akira Kinose, Tadahiro Taniguchi|arXiv (Cornell University)|Jul 3, 2019

Reinforcement Learning in Robotics参考文献 65被引用数 24

ひとこと要約

本稿では、複数の最適性出力（pMDP-MO）を備えた確率的グラフィカルモデル（PGM）フレームワークを用いて、強化学習（RL）と模倣学習（IL）を統合する新手法TRGAILを提案する。GAILの識別器を追加の最適性信号としてモデル化し、タスク達成報酬と組み合わせることで、共同方策学習を確率的推論として定式化し、ロボット操作タスクにおいてベースラインのRLおよびIL手法よりも顕著に高いサンプル効率と性能を達成した。

ABSTRACT

Integration of reinforcement learning and imitation learning is an important problem that has been studied for a long time in the field of intelligent robotics. Reinforcement learning optimizes policies to maximize the cumulative reward, whereas imitation learning attempts to extract general knowledge about the trajectories demonstrated by experts, i.e., demonstrators. Because each of them has their own drawbacks, methods combining them and compensating for each set of drawbacks have been explored thus far. However, many of the methods are heuristic and do not have a solid theoretical basis. In this paper, we present a new theory for integrating reinforcement and imitation learning by extending the probabilistic generative model framework for reinforcement learning, {\it plan by inference}. We develop a new probabilistic graphical model for reinforcement learning with multiple types of rewards and a probabilistic graphical model for Markov decision processes with multiple optimality emissions (pMDP-MO). Furthermore, we demonstrate that the integrated learning method of reinforcement learning and imitation learning can be formulated as a probabilistic inference of policies on pMDP-MO by considering the output of the discriminator in generative adversarial imitation learning as an additional optimal emission observation. We adapt the generative adversarial imitation learning and task-achievement reward to our proposed framework, achieving significantly better performance than agents trained with reinforcement learning or imitation learning alone. Experiments demonstrate that our framework successfully integrates imitation and reinforcement learning even when the number of demonstrators is only a few.

研究の動機と目的

• RLとILの間のヒューリスティック統合手法の限界を克服するための統一的理論枠組みを確立すること。
• 複数の最適性信号を同時に学習可能にする、pMDP-MOという確率的グラフィカルモデル（pMDP-MO）を構築すること。
• GAILによる専門家デモンストレーションと、タスク固有の報酬を統合した推論ベースのフレームワーク内で、相乗的な学習を可能にすること。
• ILとRLの信号を統合することで、複雑なロボット制御タスクにおけるサンプル効率と最終的性能を向上させること。

提案手法

• 複数の最適性出力を組み込むことで制御の推論を拡張する、新しいPGMフレームワークpMDP-MOを提案する。
• GAILの識別器出力を確率的最適性信号としてモデル化し、模倣学習を確率的推論の一形態として扱えるようにする。
• GAILに基づく模倣報酬とタスク達成報酬を統合し、方策最適化のための統一的目的関数を構築する。
• 最大エントロピーRLを用いて、タスク達成と専門家模倣の両方を最大化する方策を最適化し、pMDP-MO上の連合推論として定式化する。
• 複数の最適性制約下でのポストリオリ推論分布を近似するために、構造的変分推論を用いる。
• 物理シミュレータ上でのロボット操作タスクにフレームワークを適用し、PPOを用いて統合報酬信号に基づき方策を学習する。

実験結果

リサーチクエスチョン

• RQ1 統一的確率的グラフィカルモデルフレームワークは、RLとILからの複数の報酬信号を効果的に統合できるか？
• RQ2 GAILの識別器を最適性出力としてモデル化することで、標準的なILやRLと比較して、方策学習がどのように向上するか？
• RQ3 タスク達成報酬とGAILベースの模倣信号を統合することで、どの程度サンプル効率と最終的性能が向上するか？
• RQ4 提案手法は、複雑さや専門家の質が異なる多様なロボット制御タスクに一般化可能か？

主な発見

• プッシャータスクでは、15件の専門家デモンストレーションを用いてTRGAILが平均エピソードスコア72.4を達成し、GAIL（61.1）およびBC（34.0）を上回った。
• ストライカー・タスクでは、10件の専門家軌道を用いてTRGAILが平均72.6のスコアを達成し、GAIL（40.1）およびBC（7.6）を著しく上回った。
• トゥーラー・タスクでは、15件の専門家デモンストレーションを用いてTRGAILが平均86.9のスコアを達成し、GAIL（86.1）およびBC（63.5）を上回った。
• TRGAILは、とくに少ない専門家軌道の状況下で優れたサンプル効率を示し、1件の専門家軌道しか利用できない状況でも、GAILを上回る性能を達成した。
• 劣化した専門家（不完全または非最適なデモンストレーション）に対してもロバストであることが示され、効果的に学習できた。
• フレームワークはトレードオフを示した：専門家数が増えると性能がわずかに低下した。これは、ILとRL信号の動的重み付けがさらなる改善をもたらす可能性を示唆している。