[論文レビュー] Decoupling Dynamics and Reward for Transfer Learning

Amy Zhang, Harsh Satija+1 more|arXiv (Cornell University)|Apr 27, 2018

Reinforcement Learning in Robotics参考文献 32被引用数 37

ひとこと要約

本論文は、状態表現、前向きダイナミクス、逆ダイナミクス、報酬学習をモジュラーなコンponentsに分離するデカップリング強化学習フレームワークを提案する。これらのコンponentsを補助タスク（特に安定性のための逆ダイナミクス）を用いて訓練することで、ダイナミクスや報酬が異なるタスク間での高速かつロバストな転移が可能となり、連続的および離散的環境における汎化性能と計画性能が著しく向上する。

ABSTRACT

Current reinforcement learning (RL) methods can successfully learn single tasks but often generalize poorly to modest perturbations in task domain or training procedure. In this work, we present a decoupled learning strategy for RL that creates a shared representation space where knowledge can be robustly transferred. We separate learning the task representation, the forward dynamics, the inverse dynamics and the reward function of the domain, and show that this decoupling improves performance within the task, transfers well to changes in dynamics and reward, and can be effectively used for online planning. Empirical results show good performance in both continuous and discrete RL domains.

研究の動機と目的

• 環境のダイナミクスや報酬関数に摂動が生じた場合の、標準的RL手法の劣化した汎化性能を改善すること。
• ダイナミクス、報酬、状態表現の学習をモジュラーなコンponentsに分離することで、強化学習における転移学習を向上させること。
• 異なるダイナミクスや報酬を持つ新しいタスクへの迅速な適応を可能にするために、事前学習済みモジュールの効率的再利用を可能にすること。
• 補助的な逆ダイナミクスモデリングにより表現学習を安定化させ、訓練収束性とロバスト性を向上させること。
• 報酬関数をダイナミクスモデルからデカップリングすることで、ポリシー最適化にオンポリシーおよびオフポリシーの両方を可能にすること。

提案手法

• 状態空間 𝒮 と表現空間 𝒁 の間のマッピングを実現するため、エンコーダ f_enc(s; θ_enc) とデコーダ f_dec(z; θ_dec) を導入し、表現空間 𝒁 を定義する。
• エンコーダとデコーダを用いた監視のもとで、表現空間 𝒁 における次状態を予測する前向きダイナミクスモデル f_for(z, a; θ_for) を訓練する。
• 状態遷移からアクションを予測する逆ダイナミクスモデル f_inv(z, z'; θ_inv) を統合し、因果関係を保存する正則化子として機能させる。
• ストップグラデント操作 (⊗) を用いて、ダイナミクスモジュールと報酬モジュールの訓練をデカップリングし、独立した最適化を可能にする。
• 報酬関数を別々のモジュールに分離することで、オフポリシー学習と新しい報酬関数への転移を可能にする。
• ポリシー最適化の前に、オフラインかつ事前学習フェーズでダイナミクスと報酬モジュールを訓練し、オンポリシーの不安定性を回避する。

実験結果

リサーチクエスチョン

• RQ1 ダイナミクスと報酬学習のデカップリングが、異なるダイナミクスや報酬を持つタスク間での汎化性能を向上させるか？
• RQ2 逆ダイナミクスモデルの導入が、前向きダイナミクスモデルの安定性と性能に与える影響はいかほどのものか？
• RQ3 ダイナミクス、報酬、表現の各モジュールを事前学習することで、下流のポリシー学習がどの程度高速化されるか？
• RQ4 デカップリングアーキテクチャが、連続的制御と離散的計画の両環境において、効果的な転移を可能にするか？
• RQ5 エンドツーエンドRLと比較して、デカップリングアプローチは、ロバスト性とサンプル効率の面でどの程度優れているか？

主な発見

• デカップリングフレームワークは、特に訓練の安定性と収束速度の面で、オンラインでオンポリシーで学習する手法を著しく上回る。
• 逆ダイナミクスモデルの導入により、前向きダイナミクス学習が安定化し、訓練のばらつきが低減され、表現品質が向上する。
• オフラインで事前学習されたダイナミクスおよび報酬モジュールは、新しいタスクにおけるポリシー最適化をより高速かつ信頼性高く実現する。
• 本手法は、新しい報酬関数や摂動を加えたダイナミクスへの転移を効果的に行うことができ、タスクの変化に強い汎化性能を示す。
• 本アプローチは、連続的制御（MuJoCo）および離散的迷路計画タスクの両方で強力な性能を達成しており、広範な適用可能性を確認している。
• 標準的な A3C ポリシー最適化は、いくつかのタスクで著しく劣る性能を示しており、モジュラーかつデカップリングされた訓練アプローチの利点を浮き彫りにしている。