[論文レビュー] A Definition of Continual Reinforcement Learning

David Abel, André Barreto+4 more|arXiv (Cornell University)|Jul 20, 2023

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

この論文は、エージェントを基底エージェントの基盤上で継続的に暗黙的に探索することとして連続強化学習（CRL）を形式化し、最良のエージェントは決して学習を止めないことを示す。CRLをマルチタスクRLおよび継続的教師あり学習と特殊ケースとしてつなぐ。

ABSTRACT

In a standard view of the reinforcement learning problem, an agent's goal is to efficiently identify a policy that maximizes long-term reward. However, this perspective is based on a restricted view of learning as finding a solution, rather than treating learning as endless adaptation. In contrast, continual reinforcement learning refers to the setting in which the best agents never stop learning. Despite the importance of continual reinforcement learning, the community lacks a simple definition of the problem that highlights its commitments and makes its primary concepts precise and clear. To this end, this paper is dedicated to carefully defining the continual reinforcement learning problem. We formalize the notion of agents that "never stop learning" through a new mathematical language for analyzing and cataloging agents. Using this new language, we define a continual learning agent as one that can be understood as carrying out an implicit search process indefinitely, and continual reinforcement learning as the setting in which the best agents are all continual learning agents. We provide two motivating examples, illustrating that traditional views of multi-task reinforcement learning and continual supervised learning are special cases of our definition. Collectively, these definitions and perspectives formalize many intuitive concepts at the heart of learning, and open new research pathways surrounding continual learning agents.

研究の動機と目的

• 継続的強化学習を、問題解決から終わりなき適応へと移行させるという動機づけ。
• エージェント基盤と2つの核心演算子（generatesとreaches）を用いたCRLの形式的・数学的定義の提供。
• 伝統的なマルチタスクRLおよび継続的教師あり学習がCRLの特殊ケースであることの示唆。
• CRLとその演算子の未来の研究を導くための必要な性質の特定。

提案手法

• ヒストリー、環境、報酬ベースのパフォーマンスを含む一般的なエージェント-環境フレームワークを導入。
• エージェント基盤と学習規則を定義し、定義3.3、3.4に従ってgenerates演算子を介してエージェントが他のエージェントを生成できることを形式化。
• エージェントが基盤に落ち着くかどうかを捉えるためのreaches演算子（ときにはreaches、never reaches）を定義（定義3.5–3.6）。
• 定理3.1を証明：任意のエージェントは暗黙的に基盤上を探索しているとみなせる。注：定理3.1の補足3.2：エージェントは基盤を時に到達する、または到達しない。
• 継続的学習エージェントを、基盤を生成しつつ決して到達しない者として定義（定義4.1–4.2）。
• frameworkを説明するためのCRLの例（スイッチングMDPと継続的教師あり学習）を提供。

実験結果

リサーチクエスチョン

• RQ1 継続的強化学習を、継続的な適応を捉えるように正式に定義できるか。
• RQ2 エージェントは有限または無限の基盤上を暗黙的に探索することとして特徴づけられるか。
• RQ3 最良のエージェントが探索を止めない条件の下で、CRLが自然な設定となるのはいつか。
• RQ4 CRLの概念は、既存の見解（マルチタスクRL、継続的教師あり学習）とどのように関連するか。

主な発見

• CRLは2つの演算子で定義される：generates（基盤からエージェントが形成される）とreaches（エージェントが基盤に落ち着くかどうかを示す）。
• 任意のエージェントは、あるエージェント基盤を暗黙的に探索していると解釈できる（定理3.1）。
• エージェントは基盤を時には到達する、または到達しない（補足3.2）。
• 最良のエージェントが基盤上の暗黙的探索を決して止めないときにCRLが生じる（定義4.2）。
• CRLの例は、非定常なスイッチ下での収束的Q学習が継続学習に劣ることを示し、基盤上の探索を継続する必要性を示す。