[논문 리뷰] A Definition of Continual Reinforcement Learning

David Abel, André Barreto외 4명|arXiv (Cornell University)|2023. 07. 20.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

본 논문은 에이전트를 기저 에이전트들의 기반 위에서 지속적으로 암묵적으로 탐색하는 방식으로 정의된 continual reinforcement learning (CRL)을 제시하고, 최적의 에이전트가 결코 학습을 멈추지 않음을 보여준다. 또한 CRL을 다중 작업 RL 및 지속적 감독 학습과의 특수 사례로 연결한다.

ABSTRACT

In a standard view of the reinforcement learning problem, an agent's goal is to efficiently identify a policy that maximizes long-term reward. However, this perspective is based on a restricted view of learning as finding a solution, rather than treating learning as endless adaptation. In contrast, continual reinforcement learning refers to the setting in which the best agents never stop learning. Despite the importance of continual reinforcement learning, the community lacks a simple definition of the problem that highlights its commitments and makes its primary concepts precise and clear. To this end, this paper is dedicated to carefully defining the continual reinforcement learning problem. We formalize the notion of agents that "never stop learning" through a new mathematical language for analyzing and cataloging agents. Using this new language, we define a continual learning agent as one that can be understood as carrying out an implicit search process indefinitely, and continual reinforcement learning as the setting in which the best agents are all continual learning agents. We provide two motivating examples, illustrating that traditional views of multi-task reinforcement learning and continual supervised learning are special cases of our definition. Collectively, these definitions and perspectives formalize many intuitive concepts at the heart of learning, and open new research pathways surrounding continual learning agents.

연구 동기 및 목표

• 문제를 해결하는 것에서 끝없는 적응으로의 전환으로서 지속적 강화학습 연구의 동기를 부여한다.
• 에이전트 기저와 두 가지 핵심 연산자(generates와 reaches)를 사용하여 CRL의 형식적이고 수학적인 정의를 제공한다.
• 전통적 다중 작업 RL과 지속적 감독 학습이 CRL의 특수한 경우임을 보인다.
• 향후 연구를 이끌기 위한 CRL 및 그 연산자의 필요한 성질을 규명한다.

제안 방법

• 히스토리, 환경, 보상 기반 성과를 갖는 일반적인 에이전트-환경 프레임워크를 도입한다.
• 에이전트 기저와 학습 규칙을 정의하고, 에이전트가 generates 연산자(Definition 3.3, 3.4)를 통해 다른 에이전트를 생성하는 방식을 형식화한다.
• 에이전트가 기저에 정착하는지 여부를 포착하기 위해 reaches 연산자(때때로 도달하고 때로는 도달하지 않음 포함)를 정의한다(Definitions 3.5–3.6).
• 정리 3.1을 증명: 어떤 에이전트도 기저를 암묵적으로 탐색하는 것으로 볼 수 있다; 주석 3.2: 에이전트는 기저를 때때로 도달하거나 전혀 도달하지 않는다.
• CRL 에이전트를 기저를 생성하면서 결코 도달하지 않는 에이전트로 정의한다(Definitions 4.1–4.2).
• 프레임워크를 설명하기 위한 CRL 예시(스위칭 MDP 및 지속적 감독 학습)를 제공한다.

실험 결과

연구 질문

• RQ1 지속적 적응을 포착하기 위해 지속적 강화학습을 형식적으로 어떻게 정의할 수 있는가?
• RQ2 에이전트를 기저 에이전트의 유한하거나 무한한 기저에 대한 암묵적 탐색으로 특징지을 수 있는가?
• RQ3 최고의 에이전트가 어떤 조건에서조차 탐색을 멈추지 않아 CRL이 자연스러운 설정이 되는가?
• RQ4 CRL의 개념이 다중 작업 RL 및 지속적 감독 학습과 같은 기존 관점과 어떻게 관련되는가?

주요 결과

• CRL은 두 연산자: generates(에이전트가 기저로부터 형성됨)와 reaches(에이전트가 기저에 정착하는지 여부)로 정의된다.
• 어떤 에이전트든이상의 에이전트 기저를 암묵적으로 탐색하는 것으로 해석될 수 있다(정리 3.1).
• 에이전트는 기저에 대해 때때로 도달하거나 전혀 도달하지 않는다(주석 3.2).
• CRL은 최고의 에이전트들이 기저에 대한 암묵적 탐색을 결코 멈추지 않을 때 발생한다(Definition 4.2).
• CRL 예시는 비정상적 스위치 하에서의 수렴적 Q-러닝이 지속적 학습에 의해 뒤처진다는 것을 보여주며, 기저를 계속 탐색할 필요성을 시사한다.