[논문 리뷰] CORA: Benchmarks, Baselines, and Metrics as a Platform for Continual Reinforcement Learning Agents

Sam Powers, Eliot Xing외 3명|arXiv (Cornell University)|2021. 10. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 71인용 수 9

한 줄 요약

CORA는 Atari, Procgen, MiniHack 및 CHORES를 포함한 다양한 환경에서 지속적 강화학습에 대한 표준화된 벤치마크, 오픈소스 기반선, 그리고 세 가지 새로운 지표—지속적 평가, 고립된 망각, 제로샷 향후 전이—를 제공하는 통합 플랫폼이다. 이 플랫폼은 지속적 RL 에이전트에 대한 공정하고 재현 가능한 평가를 가능하게 하며, 최신 기법인 CLEAR조차도 치명적인 망각과 전이 학습 문제에 직면해 있음을 입증한다.

ABSTRACT

Progress in continual reinforcement learning has been limited due to several barriers to entry: missing code, high compute requirements, and a lack of suitable benchmarks. In this work, we present CORA, a platform for Continual Reinforcement Learning Agents that provides benchmarks, baselines, and metrics in a single code package. The benchmarks we provide are designed to evaluate different aspects of the continual RL challenge, such as catastrophic forgetting, plasticity, ability to generalize, and sample-efficient learning. Three of the benchmarks utilize video game environments (Atari, Procgen, NetHack). The fourth benchmark, CHORES, consists of four different task sequences in a visually realistic home simulator, drawn from a diverse set of task and scene parameters. To compare continual RL methods on these benchmarks, we prepare three metrics in CORA: Continual Evaluation, Isolated Forgetting, and Zero-Shot Forward Transfer. Finally, CORA includes a set of performant, open-source baselines of existing algorithms for researchers to use and expand on. We release CORA and hope that the continual RL community can benefit from our contributions, to accelerate the development of new continual RL algorithms.

연구 동기 및 목표

• 지속적 RL 연구의 높은 진입 장벽(코드 누락, 높은 계산 자원 요구, 표준화된 벤치마크 부족)을 해결하기 위해.
• 재현 가능한 기반선과 평가 프로토콜을 제공함으로써 지속적 RL의 민주화를 위해.
• 치명적인 망각, 유연성, 제로샷 전이와 같은 다양한 학습 과제를 고려한 지속적 RL 방법 간의 체계적 비교를 가능하게 하기 위해.
• 모듈러하고 확장 가능한 코드 및 표준화된 지표를 통해 새로운 지속적 RL 알고리즘의 개발과 평가를 지원하기 위해.
• 시각적으로 rich한 가정 시뮬레이션인 CHORES와 같은 현실적인, 다양한 환경을 제공함으로써 실제 지속적 학습 에이전트로의 진전을 가속화하기 위해.

제안 방법

• CORA는 Atari, Procgen, MiniHack, CHORES의 네 가지 별도의 벤치마크를 통합하며, 각각 일반화, 확장성, 현실 적용 가능성과 같은 지속적 학습의 특정 측면을 평가하도록 설계되었다.
• 플랫폼은 세 가지 핵심 지표를 도입한다: 지속적 평가(작업 시퀀스 전반의 성능), 고립된 망각(이전에 학습한 작업에서의 망각), 제로샷 향후 전이(미리보지 않은 작업 변형에서의 성능).
• CORA는 CLEAR, EWC, P&C와 같은 기존의 지속적 RL 알고리즘의 오픈소스 구현을 제공하여 연구 커뮤니티가 직접 비교하고 확장할 수 있도록 한다.
• CHORES 벤치마크는 다양한 작업, 물체, 실내 레이아웃을 가진 현실적인 가정 환경을 시뮬레이션하여 복잡하고 동적인 환경에서의 일반화 및 전이 평가를 가능하게 한다.
• 모든 벤치마크와 지표는 GitHub에 호스팅된 모듈러하고 확장 가능한 코드베이스로 구현되어 재현성과 기존 연구 파이프라인에의 간편한 통합을 보장한다.
• 실험은 통계적 보고(평균 ± 표준오차)를 포함한 여러 작업 시퀀스를 통해 수행되어 메서드 성능 간의 견고한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 지속적 RL 알고리즘은 지속적 학습의 다양한 측면을 테스트하는 다양한 벤치마크에서 어떻게 성능을 내는가?
• RQ2 순차적 환경에서 새로운 작업을 학습할 때 현재의 방법들은 치명적인 망각을 어느 정도 완화하는가?
• RQ3 CHORES와 같은 현실적이고 시각적으로 복잡한 환경에서 제로샷 향후 전이를 효과적으로 측정하고 향상시킬 수 있는가?
• RQ4 지속적 평가, 고립된 망각, 제로샷 향후 전이와 같은 다양한 지표들은 실제 지속적 학습 성능와 얼마나 상관관계가 있는가?
• RQ5 CHORES와 MiniHack와 같은 새로운 다양성 있는 벤치마크에서 최신 기법인 CLEAR의 한계는 무엇인가?

주요 결과

• CLEAR는 지속적 평가 측면에서 Atari 및 Procgen에서 다른 기반선보다 뛰어난 성능을 보였지만, 더 복잡한 환경에서는 심각한 망각과 제한된 전이를 보였다.
• CHORES 벤치마크에서 EWC와 P&C는 높은 망각 점수를 보였다(예: Mem-VaryObjects에서 EWC의 경우 -3.2 ± 3.2), 이는 이전에 학습한 작업의 기억 유지 능력이 떨어짐을 의미한다.
• CLEAR는 Mem-VaryTasks(2.6 ± 2.9)와 Mem-VaryObjects(2.6 ± 2.9)에서 가장 높은 제로샷 향후 전이 성능를 기록하여 EWC 및 P&C보다 더 나은 일반화 능력을 보였다.
• CHORES 벤치마크는 심지어 최고 성능를 보이는 메서드들도 새로운 실내 구조에서 전이에 어려움을 겪고 있음을 드러내었으며, EWC는 부정적 전이를 보였다(예: Gen-MultiTraj에서 -4.9 ± 2.0).
• 고립된 망각 지표는 EWC와 P&C가 심각한 망각을 겪고 있음을 보여주었으며(각각 -3.2 ± 3.2), 반면 CLEAR는 작업 간에 더 안정된 성능을 유지했다.
• 플랫폼의 지표들은 Atari와 같은 표준 벤치마크에서의 높은 성능가 현실적이고 더 복잡한 환경인 CHORES로의 일반화가 이루어지지 않음을 드러내었으며, 이는 더 나은 평가 기준이 필요함을 시사한다.