[論文レビュー] Modular Lifelong Reinforcement Learning via Neural Composition

Jorge A. Mendez, Harm van Seijen+1 more|arXiv (Cornell University)|Jul 1, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本論文は、タスクを再利用可能なニューラルコンポーネントに分解することで、機能的合成を用いて新しいタスクの学習を高速化する、新しいモジュラーライフログリーニングフレームワークを提案する。訓練をモジュール発見、タスク固有のファインチューニング、および知識統合のためのオフラインバッチRLに分離することで、前向きな転送が顕著に向上し、継続的学習における深刻な忘却が解消され、離散的およびロボット操作タスクの両方で、先行する継続的強化学習手法を上回る性能を発揮する。

ABSTRACT

Humans commonly solve complex problems by decomposing them into easier subproblems and then combining the subproblem solutions. This type of compositional reasoning permits reuse of the subproblem solutions when tackling future tasks that share part of the underlying compositional structure. In a continual or lifelong reinforcement learning (RL) setting, this ability to decompose knowledge into reusable components would enable agents to quickly learn new RL tasks by leveraging accumulated compositional structures. We explore a particular form of composition based on neural modules and present a set of RL problems that intuitively admit compositional solutions. Empirically, we demonstrate that neural composition indeed captures the underlying structure of this space of problems. We further propose a compositional lifelong RL method that leverages accumulated neural components to accelerate the learning of future tasks while retaining performance on previous tasks via off-line RL over replayed experiences.

研究の動機と目的

• 人工エージェントが強化学習タスクの連続的シーケンスにおいて機能的コンポーネントを学習し再利用できることを可能にすること。
• 再現された経験に基づくオフラインバッチRLを活用することで、継続的強化学習における深刻な忘却の課題を克服すること。
• 構造的なニューラルモジュール再利用を通じて、ゼロショット一般化と新しい合成タスクへの迅速な適応を支援する手法を設計すること。
• 機能的合成性が現実的で階層的な強化学習環境において学習可能であり、実証的に利用可能であることを検証すること。

提案手法

• 本手法は学習を3段階に構造化する：(1) 現在のタスクに適したモジュールの組み合わせを発見する段階、(2) 最良の組み合わせを用いてオンラインRLでファインチューニングする段階、(3) オフラインバッチRLを用いて新しい知識を既存のモジュールに統合する段階。
• ニューラルモジュールは静的オブジェクト、ターゲット、エージェントなどの異なるタスクコンポーネントに特化しており、モノリシックな連結ではなく、モジュラーデータ処理を可能にする。
• アーキテクチャはタスク関連のコンポーネントに基づいて入力をモジュールに分離することで、機能的合成におけるモularityと相互運用性を向上させる。
• 統合段階では、オンライン正則化やリプレイに代わって、オフライン強化学習（例：BCQやCQL）を用いることで、忘却を防止する。
• 問題グラフ形式を用いて合成タスクをモデル化し、ゼロショット一般化やタスク変種間の転送を体系的に評価可能にする。
• 本手法は2つのドメインで評価されている：2次元グリッドワールド（離散的）とロボット操作スイート（ロボット操作）であり、両者とも多段階の合成的構造を示している。

実験結果

リサーチクエスチョン

• RQ1 継続的学習設定において、強化学習における機能的合成性が、タスクの連続的シーケンスにわたり効果的に学習され、再利用可能であるか？
• RQ2 モジュール発見、ファインチューニング、統合の分離が、標準的な継続的強化学習手法と比較して、学習速度の向上と忘却の防止にどのように寄与するか？
• RQ3 忘却防止の観点から、統合段階にオフラインバッチRLを用いることで、オンライン正則化や経験リプレイを上回る効果が得られるか？
• RQ4 本手法は、各コンポーネントタイプのモジュール数の変動に対してどれほど頑健であり、アーキテクチャ的摺れに対して性能を維持できるか？
• RQ5 モジュラーアーキテクチャは、モノリシックモデルと比較して、より優れたゼロショット一般化と前向きの転送を実現できるか？

主な発見

• バッチRLを用いたP&C手法は、2次元離散的環境およびロボット操作環境の両方で、忘却を完全に抑制し、EWCや他の継続的強化学習ベースラインを上回る性能を発揮した。
• 統合段階にバッチRLを用いることで、オンライン正則化よりも優れた前向きの転送が達成された。これは、安定した知識保持が将来の学習を促進することを示している。
• 本手法は強力なゼロショット一般化を達成した：誤ったモジュールが使用された場合、誤ったターゲットまたはエージェントモジュールが使われると性能が著しく低下し、意味的なモジュール特化性が裏付けられた。
• モジュール数の変動に対しても本手法は頑健である。各コンポーネントタイプのモジュール数が増加または減少しても性能は安定しており、設計の柔軟性を示している。
• 同じ学習目的（CLEAR）を用いても、モノリシックアーキテクチャを本手法のモジュラーデザインに置き換えることで、性能が顕著に向上した。これは、アーキテクチャ的合成性の利点を実証している。
• ロボット操作スイートにおいて、本手法は標準学習（STL）を上回る学習速度を達成し、忘却による性能低下を回避した。これは、実世界への応用可能性を示している。