[論文レビュー] Adaptive Online Planning for Continual Lifelong Learning

Kevin Lü, Igor Mordatch+1 more|arXiv (Cornell University)|Dec 3, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 8

ひとこと要約

本論文は、非定常的でリセットのない生涯学習環境において、効率的で頑健かつ適応的な制御を実現するため、モデルベースの計画とモデルフリー強化学習を動的に組み合わせるハイブリッドアルゴリズムであるAdaptive Online Planning（AOP）を提案する。予測誤差の推定値を用いて計画の頻度を制御することで、計算コストを削減しながらも高い性能を維持し、未観測の環境変化に対しても迅速に適応する。動的環境下では、純粋なRLおよび計画ベースのベースラインを上回る性能を示す。

ABSTRACT

We study learning control in an online reset-free lifelong learning scenario, where mistakes can compound catastrophically into the future and the underlying dynamics of the environment may change. Traditional model-free policy learning methods have achieved successes in difficult tasks due to their broad flexibility, but struggle in this setting, as they can activate failure modes early in their lifetimes which are difficult to recover from and face performance degradation as dynamics change. On the other hand, model-based planning methods learn and adapt quickly, but require prohibitive levels of computational resources. We present a new algorithm, Adaptive Online Planning (AOP), that achieves strong performance in this setting by combining model-based planning with model-free learning. By approximating the uncertainty of the model-free components and the planner performance, AOP is able to call upon more extensive planning only when necessary, leading to reduced computation times, while still gracefully adapting behaviors in the face of unpredictable changes in the world -- even when traditional RL fails.

研究の動機と目的

• 誤りが蓄積されやすく、動的特性が予測不能に変化するリセットなしの非定常的環境における継続的生涯学習の課題に対処すること。
• 分布シフトに伴い学習速度が遅く、性能が低下する純粋なモデルフリーRLの限界を克服すること。
• 純粋なモデルベース計画の高い計算コストを軽減しながら、環境変化への迅速な適応を維持すること。
• 不確実性に基づいて計画と学習済み行動の間を知的に切り替えるメカニズムを開発し、効率的かつ安全な意思決定を可能にすること。
• モデルフリーの経験と適応的計画を組み合わせることで、動的制御タスクにおいて優れた性能と頑健性を達成することを実証すること。

提案手法

• 正確なロールアウト生成を可能にする真値の動的モデルを統合し、モデル学習のオーバーヘッドなしに高精度な計画を実現する。
• モデルフリー方策における不確実性を推定するために、価値関数のアンサンブルを用いる。
• 不確実性が高い場合にのみ完全な計画を実行するスイッチングメカニズムを実装し、安定期間中は計算量を削減する。
• モデルフリー方策最適化とモデルベース計画を統合する包括的な更新則を定式化し、両手法の滑らかな補間を可能にする。
• 計画者の性能をシグナルとして活用し、長期間にわたる計画経験を効率的な行動に蒸留することで、モデルフリー方策を改善する。
• エピソードリセットなしに、毎ステップで計画と方策学習が継続的に実行される、連続的なオンライン学習ループを維持する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース計画とモデルフリー学習をハイブリッド化したアプローチは、非定常的でリセットのない生涯学習環境において、頑健な性能を達成できるか？
• RQ2 モデルフリー部の不確実性を効果的に活用することで、高コストな計画計算を抑制しつつ、適応性を損なわずに制御できるか？
• RQ3 世界の動的特性が変化する中で、モデルフリー方策はどの程度の期間、性能を維持できるか？ その性能低下は緩和可能か？
• RQ4 必要に応じて計画を起動する適応的計算—すなわち、計画を必要に応じてのみ実行する戦略—は、計算コストを顕著に削減しつつも、高い性能を維持できるか？
• RQ5 本手法は、純粋なモデルフリーRLおよび純粋なモデルベース計画と比較して、適応速度、安定性、長期的性能の観点で優れているか？

主な発見

• AOPは、時間の経過とともに計画ステップ数を著しく削減しており、特に同じタスクの後続訪問時において、スイッチングメカニズムの適応が効果的であることを示している。
• 突然のターゲット速度変更が生じるHopper環境では、AOPは迅速かつ安定して適応するが、TD3は著しく失敗し、MPCは混沌とした挙動を示す。
• AOPは、非定常環境下でPPOおよびTD3を上回り、世界の動的特性が変化しても高い性能を維持する。一方、これらの手法は時間の経過とともに性能が低下する。
• 価値関数のアンサンブルによる不確実性推定は、計画のトリガーを正確かつ信頼性高く行うことができ、計算の効率化に寄与している。
• AOPは、はるかに計算コストの高いMPCベースラインと同等の性能を達成しており、適応的計画がはるかに低いコストで高精度な計画を再現できることを示している。
• 本手法は、リプレイやタスク固有のメモリに依存しないため、従来の意味での深刻な忘却に強く、不確実性を考慮した計画によって動的変化に柔軟に適応する。