[論文レビュー] Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2

Zachary Daniels, Aswin Raghavan+5 more|arXiv (Cornell University)|Aug 9, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、深層強化学習方策の内部表現の自己認識的密度モデリングを用いて、深刻な忘却を防ぐ、モデルフリーの生成的リプレイフレームワークを提案する。目覚めと眠りのサイクルを組み合わせ、睡眠段階での生成モデルとランダムリプレイバッファを併用することで、6%の訓練データのみを用いてStarCraft IIで熟練者性能の80–90%を達成し、隠れリプレイアーキテクチャは優れた安定性と一般化性能を示した。

ABSTRACT

One approach to meet the challenges of deep lifelong reinforcement learning (LRL) is careful management of the agent's learning experiences, to learn (without forgetting) and build internal meta-models (of the tasks, environments, agents, and world). Generative replay (GR) is a biologically inspired replay mechanism that augments learning experiences with self-labelled examples drawn from an internal generative model that is updated over time. We present a version of GR for LRL that satisfies two desiderata: (a) Introspective density modelling of the latent representations of policies learned using deep RL, and (b) Model-free end-to-end learning. In this paper, we study three deep learning architectures for model-free GR, starting from a naïve GR and adding ingredients to achieve (a) and (b). We evaluate our proposed algorithms on three different scenarios comprising tasks from the Starcraft-2 and Minigrid domains. We report several key findings showing the impact of the design choices on quantitative metrics that include transfer learning, generalization to unseen tasks, fast adaptation after task change, performance wrt task expert, and catastrophic forgetting. We observe that our GR prevents drift in the features-to-action mapping from the latent vector space of a deep RL agent. We also show improvements in established lifelong learning metrics. We find that a small random replay buffer significantly increases the stability of training. Overall, we find that "hidden replay" (a well-known architecture for class-incremental classification) is the most promising approach that pushes the state-of-the-art in GR for LRL and observe that the architecture of the sleep model might be more important for improving performance than the types of replay used. Our experiments required only 6% of training samples to achieve 80-90% of expert performance in most Starcraft-2 scenarios.

研究の動機と目的

• 以前に学習したタスクからの知識を保持することで、継続的強化学習（LRL）における深刻な忘却を解消すること。
• 明示的なダイナミクスモデリングや報酬関数学習を避ける、モデルフリーでエンドツーエンドの生成的リプレイアプローチを開発すること。
• 高次元の観測分布に依存せずに、方策の潜在表現に対する自己認識的密度モデリングを可能にし、記憶統合を改善すること。
• StarCraft II や MiniGrid などの複雑な環境における、連続するタスク間での一般化と迅速な適応を向上させること。
• リプレイアーキテクチャおよび補助的要素（例：ランダムリプレイ）が継続的学習のパフォーマンス指標に与える影響を調査すること。

提案手法

• 目覚めと眠りのサイクルフレームワークを採用：目覚め段階では、市販の深層強化学習を用いて現在のタスクを学習する。眠り段階では、保存済みの経験に基づいて生成モデルを訓練する。
• 変分オートエンコーダ（VAE）を用いて、方策ネットワークからの潜在表現の密度をモデリングし、自己教師付きの観測-行動ペアのリプレイを可能にする。
• 過去の方策から現在の方策への知識蒸留を実装し、手続き的知識を統合する。
• 特徴空間の整合性を安定化させるために、元の観測-行動ペアの小さなランダムリプレイバッファを導入する。
• 生成的リプレイの有効性を比較するために、ナーヴィなGR、隠れリプレイ、二重ヘッドGRの3つのアーキテクチャを、目覚めと眠りのフレームワーク内に実装する。
• 主成分分析（PCA）を用いて、真値、再構成、生成された特徴の潜在空間における可視化と比較を行う。

実験結果

リサーチクエスチョン

• RQ1 潜在表現を用いたモデルフリーの生成的リプレイが、継続的深層強化学習における深刻な忘却を軽減できるか？
• RQ2 生の軌道または観測の直接的リプレイと比較して、方策の潜在状態に対する自己認識的密度モデリングはどのように異なるか？
• RQ3 生成的リプレイとランダムリプレイバッファを組み合わせることで、特徴空間の安定性とパフォーマンスにどのような影響を与えるか？
• RQ4 異なる生成的リプレイアーキテクチャ（例：隠れリプレイ対二重ヘッド）は、転送、一般化、忘却の指標にどのように影響を与えるか？
• RQ5 この生成的リプレイ機構を用いて、たとえ訓練データのわずかな割合（例：6%）であっても、熟練者レベルのパフォーマンスに到達できるか、その程度はいかほどか？

主な発見

• 隠れリプレイアーキテクチャが最も優れたパフォーマンスを示し、タスク間での忘却を顕著に低減し、転送と一般化を向上させた。
• 訓練データの6%のみを用いても、StarCraft IIの大多数のシナリオで熟練者性能の80–90%を達成した。
• ランダムリプレイを隠れリプレイと組み合わせることで、パフォーマンス指標（PM、FTR）が向上し、潜在特徴空間の安定性が向上し、タスク間でのずれが減少した。
• PCAによる可視化から、ランダムリプレイを隠れリプレイと組み合わせた場合、異なるタスク間で分布が重なっていることが明確に示された。
• 生成モデルは意味のある潜在特徴を効果的に再構成および生成でき、特に「DefeatRoaches」タスクでは再構成特徴が真値特徴に非常に近い一致を示した。
• 睡眠段階での生成モデルは、過去のタスクからの知識を効果的に統合し、蒸留された方策知識を通じて、新しいタスクへの迅速な適応を可能にした。