[論文レビュー] Towards Continual Reinforcement Learning: A Review and Perspectives

Khimya Khetarpal, Matthew Riemer+2 more|arXiv (Cornell University)|Dec 25, 2020

Viral Infectious Diseases and Gene Expression in Insects被引用数 27

ひとこと要約

本論文は、継続的強化学習（CRL）の包括的な分類とレビューを提示し、その順序的・インタラクティブな性質から、RLを生涯学習を研究する自然な枠組みとして位置づける。本稿では、スコープとドライバの非定常性に基づく統一的フレームワークを提唱し、主要なCRLアプローチ、ベンチマーク、評価指標をレビューし、CRLと神経科学の間の未解決課題を浮き彫りにし、現実世界の応用に向けたスケーラブルで適応的なエージェントの実現を前進させる。

ABSTRACT

In this article, we aim to provide a literature review of different formulations and approaches to continual reinforcement learning (RL), also known as lifelong or non-stationary RL. We begin by discussing our perspective on why RL is a natural fit for studying continual learning. We then provide a taxonomy of different continual RL formulations by mathematically characterizing two key properties of non-stationarity, namely, the scope and driver non-stationarity. This offers a unified view of various formulations. Next, we review and present a taxonomy of continual RL approaches. We go on to discuss evaluation of continual RL agents, providing an overview of benchmarks used in the literature and important metrics for understanding agent performance. Finally, we highlight open problems and challenges in bridging the gap between the current state of continual RL and findings in neuroscience. While still in its early days, the study of continual RL has the promise to develop better incremental reinforcement learners that can function in increasingly realistic applications where non-stationarity plays a vital role. These include applications such as those in the fields of healthcare, education, logistics, and robotics.

研究の動機と目的

• 非定常性をスコープとドライバの特性によって特徴づけることで、継続的強化学習の統一的フォーマリズムを確立すること。
• マルチタスク、生涯学習、ネバーランディング学習の設定を含む、既存の継続的RLアプローチをレビューおよび分類すること。
• 継続的RLエージェントの評価に適した現在のベンチマークと指標を評価し、訓練における非定常性に特に注目すること。
• 継続的RLにおける未解決問題を特定し、神経科学の知見と結びつけることで、今後の研究に向けた道筋を示すこと。
• 動的環境において段階的で汎用的かつ安定したRLエージェントを進化させるための構造的基盤を提供すること。

提案手法

• 非定常性の2つの主要な次元（スコープ：何が変化するか、ドライバ：なぜ変化するか）を定義することで、継続的RLの形式的分類を提唱し、多様な設定を統一的に定式化可能にする。
• 決定的方策、状態空間の分解、微分可能な報酬、およびアクション不変遷移の4つの仮定を用いて、教師あり継続的学習をRLにマッピングする。
• 割引率γ → 1の無限に続く環境において、教師あり学習の目的関数とRLの目的関数が等価になることを導出する。
• 非定常設定における確率的勾配降下法（SGD）のバイアスを分析し、長期的目標認識の欠如により、継続的学習で深刻な忘れ去り（catastrophic forgetting）を引き起こすことを示す。
• 経験リプレイ、正則化、アーキテクチャ拡張、メタラーニングなどのメソッドを含む、構造的な分類に基づいて既存のCRLアプローチをレビューする。
• 概念のずれや分布シフトを含むタスクストリームを誘発するベンチマークに基づく評価フレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 非定常性に基づく1つの分類法によって、継続的強化学習をどのように統一的に形式化できるか？
• RQ2 継続的RLと教師あり継続的学習の主な相違点は何か。また、形式的マッピングによってそれらをどのように関連づけられるか？
• RQ3 非定常環境における標準的なSGD目的関数がなぜ継続的学習に不十分であるのか。また、RLがより強固なフレームワークを提供する理由は何か？
• RQ4 CRLにおける深刻な忘れ去りを緩和し、生涯にわたるスキル習得を可能にするために、最も効果的なメソッドファミリーは何か？
• RQ5 動的で現実世界に近い環境において、継続的学習のパフォーマンスを正確に反映するように、ベンチマークと指標をどのように設計できるか？

主な発見

• RLフレームワークは教師あり学習を一般化し、その順序的・インタラクティブ的・オンライン学習の性質から、継続的学習を研究する自然な基盤を提供する。
• 継続的RLにおける非定常性は、正式にスコープ（何が変化するか）とドライバ（なぜ変化するか）に分解可能であり、多様な問題定式化を統一的に捉える視点を提供する。
• 教師あり学習における標準的なSGDは、現在のデータに偏っており、非定常設定では深刻な忘れ去りを引き起こすが、RLの目的関数は長期的パフォーマンスを考慮できる。
• 理論的分析により、割引率γ → 1の継続的RL目的関数は、累積損失を用いた教師あり学習と等価な形に還元され、両者のパラダイム間の関連性が明確になる。
• 現在のCRLベンチマークは、現実的な非定常性をモデル化する能力に制限があり、より強固で動的な評価プロトコルの開発が求められる。
• 神経科学で観察された生物学的学習メカニズムとCRLを一致させる点で、継続的適応と転移学習の観点から、依然として大きな未解決課題が残っている。