[論文レビュー] Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity

Yang Hu, Giovanni Montana|arXiv (Cornell University)|Aug 14, 2019

Reinforcement Learning in Robotics参考文献 61被引用数 4

ひとこと要約

本論文は、形態が異なるエージェント（MDA）間でのスキル転送を可能にするため、共有制御要因とエージェント固有の要因を分離するペアド変分オートエンコーダー（PVED）モデルを提案する。本手法は、ソースエージェントの1つのタスクのデータのみを用いて、サンプル効率の高い転送を実現し、理論的性能バウンディングと4つのMuJoCo環境における実証的検証を通じて、優れた性能と解釈可能な分離表現を示している。

ABSTRACT

Transfer learning methods for reinforcement learning (RL) domains facilitate the acquisition of new skills using previously acquired knowledge. The vast majority of existing approaches assume that the agents have the same design, e.g. same shape and action spaces. In this paper we address the problem of transferring previously acquired skills amongst morphologically different agents (MDAs). For instance, assuming that a bipedal agent has been trained to move forward, could this skill be transferred on to a one-leg hopper so as to make its training process for the same task more sample efficient? We frame this problem as one of subspace learning whereby we aim to infer latent factors representing the control mechanism that is common between MDAs. We propose a novel paired variational encoder-decoder model, PVED, that disentangles the control of MDAs into shared and agent-specific factors. The shared factors are then leveraged for skill transfer using RL. Theoretically, we derive a theorem indicating how the performance of PVED depends on the shared factors and agent morphologies. Experimentally, PVED has been extensively validated on four MuJoCo environments. We demonstrate its performance compared to a state-of-the-art approach and several ablation cases, visualize and interpret the hidden factors, and identify avenues for future improvements.

研究の動機と目的

• 二足歩行ロボットと片脚ホッパーといった、形態が異なるエージェント間でのスキル転送の課題に対処すること。
• 複数のタスクやエージェントからの広範な経験を必要とせずに、サンプル効率の高い強化学習の転送を可能にすること。
• 統一された確率的フレームワーク内で、共有制御メカニズムとエージェント固有のダイナミクスを分離すること。
• 形態の非均一性下でのスキル転送の性能に対して理論的保証を提供すること。
• 顕著な形態的差異を示す多様なMuJoCo環境において、本手法の有効性と解釈可能性を実証すること。

提案手法

• PVEDモデルは、ペアド変分オートエンコーダーのアーキテクチャを用いて、2体の形態が異なるエージェントの状態と行動を、共有潜在因子と個別潜在因子に同時に符号化する。
• 共有因子は、エージェント間の制御メカニズムの条件付き分布をモデル化する確率的エンコーダーによって推論され、個別因子は形態固有のダイナミクスを捉える。
• モデルは、再構成誤差と共有因子および個別因子の分布間のKLダイバージェンスを最小化する変分推論目的関数を用いて訓練される。
• 理論的分析により、転送誤差が共有因子分布と形態的乖離に依存することを示す性能バウンディングが導出され、KLダイバージェンスを用いて定量化される。
• 本手法は、共有因子を事前分布として用い、深層強化学習を用いてターゲットエージェントのポリシーをファインチューニングする。
• フレームワークは解釈可能な分離をサポートし、歩行フェーズなどの共有制御メカニズムの理解を可能にする潜在空間の可視化が可能である。

実験結果

リサーチクエスチョン

• RQ1 ソースエージェントの1つの事前学習済ポリシーを、1つのタスクの経験のみを用いて、形態が異なるターゲットエージェントに効果的に転送できるか。
• RQ2 多様な形態にわたる有効なスキル転送を可能にするために、共有制御メカニズムとエージェント固有のダイナミクスをどのように分離できるか。
• RQ3 共有因子の品質と形態的差異に基づいて、転送手法の性能にどのような理論的保証を提供できるか。
• RQ4 分離された潜在因子が、バランスやスイングフェーズといった意味のある制御抽象化として解釈可能である程度はどの程度か。
• RQ5 多様な歩行タスクにおいて、提案手法のPVEDモデルは、最先端の手法と比較して、サンプル効率と最終的性能の両面で優れているか。

主な発見

• PVEDは、テストされた4つのMuJoCo環境すべてにおいて、最先端のベースライン手法を上回る顕著なサンプル効率の向上を達成した。
• 定理1における理論的性能バウンディングは、転送誤差が共有因子分布間のKLダイバージェンスの平方根に比例する項によって上限づけられることを示し、形式的な保証を提供している。
• アブレーションスタディにより、共有因子と個別因子の両方の分離が最適性能に不可欠であることが確認され、いずれかのコンポonentを除外すると性能が低下した。
• 学習済み潜在空間の可視化により、解釈可能な分離が確認された：共有因子は抽象的な制御フェーズ（例：初期接触、バランス）に対応し、個別因子はエージェント固有の行動（例：歩行対ホッピング）をエンコードしていた。
• 本手法は顕著な形態的差異（例：二足歩行から片脚ホッパーへの変換）を越えて一般化可能であり、類似した形態を超えた転送性を示した。
• ソースエージェントとターゲットエージェントの行動空間やダイナミクスが著しく異なる場合でさえ、安定した訓練と一貫した性能向上を達成した。