[논문 리뷰] Towards Continual Reinforcement Learning: A Review and Perspectives

Khimya Khetarpal, Matthew Riemer외 2명|arXiv (Cornell University)|2020. 12. 25.

Viral Infectious Diseases and Gene Expression in Insects인용 수 27

한 줄 요약

이 논문은 지속적 강화학습(CRL)에 대한 종합적인 분류 체계와 리뷰를 제시하며, 강화학습(RL)이 순차적이고 상호작용적인 성격을 지닌 바이어스로 인해 수명 주기 학습을 연구하는 데 자연스러운 프레임워크로 여겨진다. 이는 범위와 드라이버의 비정상성에 기반한 통합 프레임워크를 도입하고, 핵심 CRL 접근법, 벤치마크, 평가 지표를 검토하며, 신경과학과의 연관성으로 인해 CRL의 열린 과제를 부각시켜 실제 응용을 위한 확장 가능하고 적응 가능한 에이전트의 목표를 진전시킨다.

ABSTRACT

In this article, we aim to provide a literature review of different formulations and approaches to continual reinforcement learning (RL), also known as lifelong or non-stationary RL. We begin by discussing our perspective on why RL is a natural fit for studying continual learning. We then provide a taxonomy of different continual RL formulations by mathematically characterizing two key properties of non-stationarity, namely, the scope and driver non-stationarity. This offers a unified view of various formulations. Next, we review and present a taxonomy of continual RL approaches. We go on to discuss evaluation of continual RL agents, providing an overview of benchmarks used in the literature and important metrics for understanding agent performance. Finally, we highlight open problems and challenges in bridging the gap between the current state of continual RL and findings in neuroscience. While still in its early days, the study of continual RL has the promise to develop better incremental reinforcement learners that can function in increasingly realistic applications where non-stationarity plays a vital role. These include applications such as those in the fields of healthcare, education, logistics, and robotics.

연구 동기 및 목표

• 비정상성의 특성으로서 범위와 드라이버 성질을 통해 비정상성을 특성화함으로써 지속적 강화학습에 대한 통합된 수학적 형식을 수립하기 위해.
• 다중작업, 수명 주기, 그리고 끝없는 학습 설정과 같은 기존의 지속적 RL 접근법을 검토하고 분류하기 위해.
• 지속적 RL 에이전트 평가를 위한 현재의 벤치마크와 지표를 평가하고, 학습 중 비정상성에 중점을 두기 위해.
• 지속적 RL의 열린 문제를 특정하고, 향후 연구를 위해 신경과학에서의 발견과 연결하기 위해.
• 동적인 환경에서 점진적이고 일반화 가능하며 안정적인 RL 에이전트를 발전시키기 위한 체계적인 기반을 제공하기 위해.

제안 방법

• 비정상성의 두 핵심 차원인 범위(무엇이 변화하는가)와 드라이버(왜 변화하는가)를 정의함으로써 지속적 RL의 공식적 분류 체계를 제안하여 다양한 설정의 통합 수식을 가능하게 한다.
• 정규화된 정책, 분해된 상태 공간, 미분 가능한 보상, 액션 불변 전이 등의 네 가지 가정을 통해 지도 지속적 학습을 RL로 매핑하는 방법을 제안한다.
• 할인율 γ → 1인 비할인, 계속되는 환경의 극한에서 지도 학습 목표와 RL 목표 간의 등가성을 도출한다.
• 비정상적 환경에서 경사 하강법(SGD)의 편향을 분석하여, 장기 목표 인식의 부족으로 인해 치명적인 기억 상실(catastrophic forgetting)이 발생함을 보여준다.
• 경험 재생, 정규화, 아키텍처 확장, 메타학습 방법 등과 같은 체계적 분류 체계에 따라 기존의 CRL 접근법을 검토한다.
• 개념 이동 또는 분포 이동을 포함한 작업 스트림을 유도하는 벤치마크를 기반으로 한 평가 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 지속적 강화학습을 비정상성 기반으로 통합된 하나의 분류 체계에 어떻게 통합할 수 있는가?
• RQ2 지속적 RL과 지도 지속적 학습 간의 핵심 차이점은 무엇이며, 이를 공식적 매핑을 통해 어떻게 연결할 수 있는가?
• RQ3 비정상적 환경에서 표준 SGD 목표가 왜 지속적 학습에 부적합한가? 그리고 RL이 더 견고한 프레임워크를 제공하는 이유는 무엇인가?
• RQ4 치명적인 기억 상실을 완화하고 RL에서의 수명 주기 스킬 습득을 가능하게 하는 가장 효과적인 방법론적 가문은 무엇인가?
• RQ5 실제 동적 환경에서의 지속적 학습 성능을 정확히 반영할 수 있도록 평가 벤치마크와 지표를 어떻게 설계할 수 있는가?

주요 결과

• RL 프레임워크는 지도 학습을 일반화하며, 순차적이고 상호작용적이며 온라인 학습 성격을 지닌 바이어스로 인해 지속적 학습을 연구하는 데 자연스러운 기반을 제공한다.
• 지속적 RL에서의 비정상성은 공식적으로 범위(무엇이 변화하는가)와 드라이버(왜 변화하는가)로 분해될 수 있으며, 이는 다양한 문제 설정을 통합적으로 볼 수 있는 시각을 가능하게 한다.
• 지도 학습에서의 표준 SGD는 현재 데이터에 편향되어 있으며, 비정상적 환경에서는 치명적인 기억 상실에 취약하지만, RL 목표는 장기 성능를 고려할 수 있다.
• 이론적 분석을 통해 할인율 γ → 1인 계속되는 RL 목표는 누적 손실을 갖는 지도 학습과 등가인 형태로 감소함을 보여주며, 두 파라다임 간의 유사성을 강조한다.
• 현재의 지속적 RL 벤치마크는 현실적인 비정상성을 모델링하는 데 한계가 있으며, 더 견고하고 동적인 평가 프로토콜이 필요로 한다.
• 생물학적 학습 메커니즘과 지속적 RL을 일치시키는 데 있어 여전히 큰 열린 과제가 있으며, 특히 지속적 적응과 전이 능력 측면에서 신경과학에서 관찰된 발견과의 연결이 중요하다.