[論文レビュー] Reset-Free Lifelong Learning with Skill-Space Planning

Kevin Lü, Aditya Grover+2 more|arXiv (Cornell University)|Dec 7, 2020

Reinforcement Learning in Robotics参考文献 57被引用数 11

ひとこと要約

本論文では、非定常的かつ非エピソード的環境における安定的で継続的な学習を可能にする、リセットを必要としない継続的強化学習フレームワークであるLifelong Skill Planning（LiSP）を提案する。LiSPは、自己教師ありスキル発見とスキル空間における長時間スパンの計画を用いることで、災難的忘却を低減し、環境リセットなしでも効果的な長時間スパンの推論を実現する。モデルフリーなスキル学習とモデルベースの計画を組み合わせることで、先行手法を上回る性能を達成する。

ABSTRACT

The objective of lifelong reinforcement learning (RL) is to optimize agents which can continuously adapt and interact in changing environments. However, current RL approaches fail drastically when environments are non-stationary and interactions are non-episodic. We propose Lifelong Skill Planning (LiSP), an algorithmic framework for non-episodic lifelong RL based on planning in an abstract space of higher-order skills. We learn the skills in an unsupervised manner using intrinsic rewards and plan over the learned skills using a learned dynamics model. Moreover, our framework permits skill discovery even from offline data, thereby reducing the need for excessive real-world interactions. We demonstrate empirically that LiSP successfully enables long-horizon planning and learns agents that can avoid catastrophic failures even in challenging non-stationary and non-episodic environments derived from gridworld and MuJoCo benchmarks.

研究の動機と目的

• スイント状態が原因で深刻な失敗が生じる非エピソード的かつ非定常的環境において、現在の強化学習アルゴリズムの不安定性に対処する。
• 環境リセットを必要としない、継続的学習を模倣する継続的強化学習フレームワークを構築する。
• 高価な現実世界の相互作用に依存しないように、オンラインおよびオフラインデータからのスキル発見と計画を可能にする。
• 短時間スパンの計画とモデルの不正確さの制限を乗り越えるために、行動を制約し計画のロバスト性を向上させる抽象的スキル空間で作業する。

提案手法

• 内部報酬とダイナミクスに配慮したスキル発見法（DADS）を用いて、インセンティブ報酬と拡張されたスキル練習提案分布を組み合わせ、非教師ありで高次のスキルを学習する。
• スキル空間における学習済みダイナミクスモデルを構築し、モデルベースの計画アルゴリズムを用いて長時間スパンの計画を可能にする。
• 不確実性を推定し、オフラインスキル学習中の報酬を調整するために、ダイナミクスモデルの確率的アンサンブルを用いることで、サンプル効率を向上させる。
• モデルフリーな方策ネットワークを統合し、スキルの実行とスキル空間における意思決定のためのモデルベース計画を組み合わせる。
• 比較のためのベースラインとして、長時間（H=180）および短時間（H=25）の計画スパンを用いたアクション空間におけるモデル予測制御（MPC）を適用する。
• 非定常ダイナミクスとマルチタスク・非エピソード的設定を備えた、変更されたグリッドワールドおよびMuJoCoベンチマークで訓練および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 標準的な強化学習が失敗するリセットなしの非定常的環境において、スキル空間における計画が安定的かつ長時間スパンの意思決定を可能にするか？
• RQ2 環境リセットが存在しない状況で、LiSPがオフラインデータからスキルを効果的に学習できるか？
• RQ3 アクション空間における短時間スパンの計画と比較して、スキル空間における長時間スパンの計画はどの程度効果的か？
• RQ4 スキル練習提案分布の使用が、非エピソード的設定におけるスキル学習をどの程度向上させるか？
• RQ5 スイント状態を有する環境において、手動のリセットに依存せずに、LiSPがどの程度災難的失敗を回避できるか？

主な発見

• LiSPは、リセットなしの非エピソード的設定において、標準的なモデルフリー強化学習アルゴリズム（SAC、MBPO）を著しく上回り、リセットなしで観察された災難的失敗を回避する。
• Lifelong Hopperベンチマークでは、LiSPは平均報酬が0.84 ± 0.02（速い）、0.88 ± 0.05（遅い）、0.81 ± 0.01（逆走）を達成し、MPC-Long（0.27–0.49）およびMPC-Short（0.27–0.32）を大きく上回った。
• LiSPは、Hopper環境における複数のターゲット速度に一般化可能な1つのスキルセットをオフラインデータから効果的に学習し、オフライン継続的学習の有効性を示した。
• アブレーションスタディにより、長時間スパンのスキル空間における計画が不可欠であることが確認され、短時間スパンのMPCベースラインでは安定した性能を達成できなかった。
• スキル練習提案分布は、リセットなしの設定において学習信号を著しく強化し、スキル発見の安定性を向上させた。
• LiSPは、多様な非定常的でマルチタスクな環境においても頑健な性能を維持し、現実世界に類似した継続的学習シナリオにおける有効性を示した。