[論文レビュー] Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning

Kyoichiro Kobayashi, Takato Horii+3 more|arXiv (Cornell University)|Nov 1, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 7

ひとこと要約

本稿では、タスクに応じた識別器と生成器を導入することで、複数の報酬関数とポリシーを同時に学習できるように拡張された生成対抗型模倣学習（S-GAIL）を提案する。AIRLの報酬推定機能とInfoGAILの分離されたポリシー学習機能を統合することで、離散的グリッドワールド環境および連続的ロボットアーム環境において、従来のフレームワークよりも高速な収束と優れた性能を達成する。

ABSTRACT

Generative adversarial imitation learning (GAIL) has attracted increasing attention in the field of robot learning. It enables robots to learn a policy to achieve a task demonstrated by an expert while simultaneously estimating the reward function behind the expert's behaviors. However, this framework is limited to learning a single task with a single reward function. This study proposes an extended framework called situated GAIL (S-GAIL), in which a task variable is introduced to both the discriminator and generator of the GAIL framework. The task variable has the roles of discriminating different contexts and making the framework learn different reward functions and policies for multiple tasks. To achieve the early convergence of learning and robustness during reward estimation, we introduce a term to adjust the entropy regularization coefficient in the generator's objective function. Our experiments using two setups (navigation in a discrete grid world and arm reaching in a continuous space) demonstrate that the proposed framework can acquire multiple reward functions and policies more effectively than existing frameworks. The task variable enables our framework to differentiate contexts while sharing common knowledge among multiple tasks.

研究の動機と目的

• GAILおよび関連フレームワークにおける単一タスク学習の制限を解決し、異なる報酬関数とポリシーを同時に学習できない問題に対処する。
• タスク間で共通のダイナミクスと表現を共有しつつ、タスク固有のポリシーと報酬関数推定を維持することで、堅牢で効率的なマルチタスク模倣学習を実現する。
• 生成器の目的関数にエントロピー正則化係数補正（ERC）項を導入することで、学習中の探索と活用の動的バランスを最適化し、収束性とポリシー性能を向上させる。
• AIRLの報酬推定機能とInfoGAILのタスク条件付きメカニズムを統合し、明示的な報酬関数回復と分離されたポリシー学習を可能にする。
• 離散的および連続的制御環境において本フレームワークの有効性を実証し、マルチタスク模倣学習において優れた性能を示す。

提案手法

• GAILフレームワークの生成器と識別器にタスク変数 $ c $ を入力として導入し、タスク固有のポリシーと報酬関数の学習を可能にする。
• 報酬関数を敵対的訓練プロセスの一部として明示的にモデル化するAIRLの識別器構造を採用し、直接的な報酬推定を可能にする。
• 生成器の目的関数にエントロピー正則化係数補正（ERC）項を組み込み、学習中に探索と活用のバランスを動的に制御する。
• 生成器と識別器を敵対的に訓練する：生成器はタスク $ c $ に条件付けられた専門家に似た行動を生成し、識別器は専門家のデモンストレーションと生成された軌道を区別する。
• 共通の状態-行動ダイナミクスを共有するパラメータを生成器と識別器に採用しつつ、タスク変数 $ c $ を介してタスク固有の適応を可能にする。
• 離散的グリッドワールドナビゲーションおよび連続的ロボットアーム到達タスクに本フレームワークを適用し、複数の目的のための専門家デモンストレーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 1つの模倣学習フレームワークが、モデルを複製せずに、異なるタスクの複数の報酬関数とポリシーを効果的に学習できるか？
• RQ2 生成器と識別器の両方にタスク変数を導入することで、標準的なGAILやInfoGAILと比較して、マルチタスクポリシーおよび報酬関数学習がどのように向上するか？
• RQ3 エントロピー正則化係数補正（ERC）項が、マルチタスク模倣学習における収束性と性能向上にどの程度寄与するか？
• RQ4 提案フレームワークは連続的制御環境にも一般化可能であり、タスク固有の行動と堅牢性を維持できるか？
• RQ5 タスク間でモデルパラメータを共有することで、個別のモデルを別々に訓練するのと比較して、より高速かつ安定した学習が達成できるか？

主な発見

• S-GAILは、離散的グリッドワールド環境および連続的ロボットアーム環境の両方で、InfoGAILおよびInfoGAIL with AIRLを上回る性能を示し、学習速度と成功確率の面で優れた結果を達成した。
• グリッドワールド実験では、S-GAILはベースラインモデルよりも早く、40回中35回を超える成功試行に到達し、収束が速いことが示された。
• ロボットアームシミュレータでは、S-GAILは赤と青の両方のターゲットを独立して到達する能力を効果的に学習し、初期状態が間違ったターゲットに近い場合でも、タスク条件に応じて正しいターゲットを選択した。
• ロボットは混乱を避け、滑らかに正しいターゲットに到達しており、タスク固有のポリシーと報酬関数推定が効果的に機能していることが示された。
• 生成器における共有パラメータの使用により、タスク間で共通するダイナミクスを効率的に活用し、学習が著しく高速化された。
• エントロピー正則化係数補正（ERC）項により、期待報酬の最大化と探索の促進の動的トレードオフが実現され、収束速度の向上と性能の向上に寄与した。