[論文レビュー] Continual Model-Based Reinforcement Learning with Hypernetworks

Yizhou Huang, Kevin Xie+2 more|arXiv (Cornell University)|Sep 25, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 6

ひとこと要約

本稿では、過去の経験を再利用せずに非定常なダイナミクスを学習できる継続的モデルベース強化学習（MBRL）手法であるHyperCRLを提案する。タスクに依存するハイパーネットワークを用いて、固定容量のハイパーネットワークがタスク固有のダイナミクスモデルを生成し、最近の経験のみを保存することで、マルチタスク学習と同等の性能を達成するとともに、ロケーションおよび操作タスクにおいて継続的学習のベースラインを上回る性能を示す。

ABSTRACT

Effective planning in model-based reinforcement learning (MBRL) and model-predictive control (MPC) relies on the accuracy of the learned dynamics model. In many instances of MBRL and MPC, this model is assumed to be stationary and is periodically re-trained from scratch on state transition experience collected from the beginning of environment interactions. This implies that the time required to train the dynamics model - and the pause required between plan executions - grows linearly with the size of the collected experience. We argue that this is too slow for lifelong robot learning and propose HyperCRL, a method that continually learns the encountered dynamics in a sequence of tasks using task-conditional hypernetworks. Our method has three main attributes: first, it includes dynamics learning sessions that do not revisit training data from previous tasks, so it only needs to store the most recent fixed-size portion of the state transition experience; second, it uses fixed-capacity hypernetworks to represent non-stationary and task-aware dynamics; third, it outperforms existing continual learning alternatives that rely on fixed-capacity networks, and does competitively with baselines that remember an ever increasing coreset of past experience. We show that HyperCRL is effective in continual model-based reinforcement learning in robot locomotion and manipulation scenarios, such as tasks involving pushing and door opening. Our project website with videos is at this link https://rvl.cs.toronto.edu/blog/2020/hypercrl

研究の動機と目的

• 経験が蓄積するにつれて再訓練が必要となる継続的モデルベース強化学習（MBRL）におけるスケーラビリティおよび災難的忘却の問題を解決すること。
• 過去の遷移データを保存せず、モデル容量を拡大せずに、動的環境（例えば新しい地形や物体）におけるロボットの生涯学習を可能にすること。
• 固定容量のタスクに依存するダイナミクスモデルを構築し、過去に学習したタスクの性能劣化を回避しながら、さまざまなタスクに一般化できること。
• ハイパーネットワークがMBRLにおけるタスク固有のダイナミクスを効果的に表現できることを示し、効率的な計画と継続的適応を可能にすること。

提案手法

• タスク埋め込みを学習し、その埋め込みに基づいてターゲットダイナミクスモデルの重みを生成するタスクに依存するハイパーネットワークを用いることで、再訓練を伴わずにタスク固有のダイナミクスを実現する。
• 過去の遷移データを保持する必要を回避するため、固定サイズの最新経験バッファのみを保存する。
• 現在のタスクのデータ上でエンドツーエンドにハイパーネットワークを訓練し、状態遷移の予測誤差を最小化する損失関数を用いる。
• 計画時間窓内でCEM最適化を用いたモデル予測制御（MPC）を実行し、ハイパーネットワークが生成するダイナミクスモデルをロールアウトに使用する。
• 固定容量アーキテクチャを採用：ハイパーネットワークおよびターゲットダイナミクスネットワークはタスクが増加してもサイズが拡大せず、計算およびメモリ効率を確保する。
• タスク境界信号を統合し、タスクの識別子に条件づけられたハイパーネットワークを構築することで、タスクに依存しない検出を必要とせず、各タスクの正確なダイナミクスモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去の経験にアクセスせずに、固定容量のハイパーネットワークが継続的MBRLにおいて正確なタスク固有のダイナミクスモデルを生成できるか？
• RQ2 異なるダイナミクスを持つ新しいタスクの連続学習において、提案手法が災難的忘却を防止できるか？
• RQ3 EWC、SI、コアセット、微調整などの継続的学習ベースラインと比較して、性能保持性および最終タスク性能においてどのように差がつくか？
• RQ4 すべての歴史的データを保存・再処理する必要がないにもかかわらず、マルチタスク学習に近い性能を達成できるか？
• RQ5 プッシュ、ドア開閉、ブロックスライディングなどの実世界のロボット学習シナリオにおいて、この手法はどの程度効果的か？

主な発見

• HyperCRLは、EWC、SI、コアセット、微調整のベースラインすべてにおいて、性能保持性で優れており、平均エピソード報酬が常にベースラインを上回っている。
• プッシャー環境では、5つのタスクをすべて学習し終えた段階で、平均エピソード報酬が109 ± 16に達し、正のバックワード転送効果を示し、すべてのベースラインを上回った。
• ドア環境では、タスク間で性能がほぼ一定（正規化報酬 ≈ 1.0）を維持し、最小限の忘却を示し、マルチタスク学習ベースラインでさえも上回った。
• ブロックスライディング環境では、平均報酬73 ± 21を達成し、わずかな平均的忘却トレンドがあるものの、すべての継続的学習ベースラインを上回った。
• 時間経過に伴う性能劣化が最小限に抑えられ、過去に学習したタスクの報酬に顕著な低下が見られず、効果的な忘却抑制が実現された。
• HyperCRLの性能は、すべてのデータにアクセス可能なマルチタスク学習と競合する一方で、固定サイズの経験バッファの使用とモデル拡張の必要なしに実現された。