[논문 리뷰] Disentangling Transfer in Continual Reinforcement Learning

Maciej Wołczyk, Michał Zając외 3명|arXiv (Cornell University)|2022. 09. 28.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 소프트 액터-크리틱(SAC)의 구성 요소인 액터, 크리틱, 탐색, 리PLAY 버퍼를 체계적으로 분석함으로써 지속적 강화학습(CRL)에서 지식 전이의 원인을 분리한다. 제안된 ClonEx-SAC 방법은 정책 리허설을 위한 행동 복제(behavioral cloning)와 다중 정책 탐색을 사용하며, 지속적 월드 기준에서 최종 성공률 87%와 0.54의 포워드 전이를 달성하여 PackNet(80% 성공, 0.18 전이)을 능가한다.

ABSTRACT

The ability of continual learning systems to transfer knowledge from previously seen tasks in order to maximize performance on new tasks is a significant challenge for the field, limiting the applicability of continual learning solutions to realistic scenarios. Consequently, this study aims to broaden our understanding of transfer and its driving forces in the specific case of continual reinforcement learning. We adopt SAC as the underlying RL algorithm and Continual World as a suite of continuous control tasks. We systematically study how different components of SAC (the actor and the critic, exploration, and data) affect transfer efficacy, and we provide recommendations regarding various modeling options. The best set of choices, dubbed ClonEx-SAC, is evaluated on the recent Continual World benchmark. ClonEx-SAC achieves 87% final success rate compared to 80% of PackNet, the best method in the benchmark. Moreover, the transfer grows from 0.18 to 0.54 according to the metric provided by Continual World.

연구 동기 및 목표

• 지속적 강화학습(CRL)에서 지식 전이의 핵심 요인을 이해하고, 특히 SAC 프레임워크 내에서 이를 분석한다.
• 개별 구성 요소인 액터, 크리틱, 탐색, 리PLAY 데이터의 기여도를 고립하고 정량화한다.
• 장기적인 작업 시퀀스에서 치명적 망각을 완화하는 것과 포워드 전이를 극대화하는 것 사이의 상충 관계를 평가한다.
• 성능과 전이 성능을 동시에 향상시키는 최적의 아키텍처 및 학습 설계 선택지를 규명한다.
• 실증적 아블레이션과 아블레이션 기반 아키텍처 설계를 바탕으로 효과적인 CRL 에이전트 설계를 위한 실질적인 권고 사항을 제공한다.

제안 방법

• 전이 기여도를 고립하기 위해 두 작업 설정에서 SAC 구성 요소(액터, 크리틱, 탐색, 리PLAY 버퍼)를 체계적으로 아블레이션한다.
• 기존 정책을 리허설하기 위해 행동 복제(BC)를 활용하여 액터 네트워크의 치명적 망각을 감소시킨다.
• 다중 정책 탐색을 도입: 각 작업의 시작 시, 이전 모든 작업의 최고 성능 정책을 쿼리하여 초기 탐색 데이터를 생성한다.
• 성능 및 포워드 전이 메트릭을 평가하기 위해 10개 및 20개 작업 시퀀스를 사용한 지속적 월드 기준을 활용한다.
• 크리틱 정규화에 대한 광범위한 초모델 스윕을 수행하고, 정규화 기반, 파rameter 격리, 리허설 기반 CL 방법을 비교한다.
• 10만 번 이상의 학습 실행 동안 통계적 탄력성을 확보하기 위해 부트스트랩 90% 신뢰구간을 사용한다.

실험 결과

연구 질문

• RQ1 SAC의 구성 요소(액터, 크리틱, 탐색, 리PLAY 버퍼) 중 어떤 것이 CRL에서 포워드 전이에 가장 크게 기여하는가?
• RQ2 행동 복제 또는 리PLAY 버퍼 재사용과 같은 지식 리허설 전략은 평균 성능과 포워드 전이에 어떤 영향을 미치는가?
• RQ3 크리틱을 정규화하면 지속적 RL에서 성능이나 전이 성능에 어떤 영향을 미치는가?
• RQ4 과거 정책을 활용하는 다중 정책 탐색은 장기적인 CRL 시퀀스에서 표준 탐색을 능가할 수 있는가?
• RQ5 망각 완화와 전이 극대화 간의 상호작용은 효과적인 CRL 에이전트 설계에 어떤 영향을 미치는가?

주요 결과

• 크리틱의 역할이 전이에 가장 핵심적이며, 탐색과 액터는 더 작은 비중이지만 무시할 수 없는 기여를 한다.
• 구성 요소의 기여도는 상당히 독립적이므로, CRL 에이전트에 대해 모듈러 설계 원칙을 적용할 수 있다.
• 과거 정책을 리허설하기 위해 행동 복제를 사용하면 평균 성능(87% 성공)과 포워드 전이(0.54) 모두 크게 향상된다.
• 이전 작업의 정책을 재사용하여 탐색을 수행하면 성능 향상이 뚜렷하게 나타나 정책 재사용의 가치를 입증한다.
• 크리틱을 정규화하면 성능 향상에 기여하지 않으며, 특히 높은 정규화 강도일수록 성능이 악화될 수 있다.
• ClonEx-SAC는 CW10에서 최종 성공률 87%와 포워드 전이 0.54를 달성하여 PackNet(80% 및 0.18)을 능가하며, 포워드 전이가 탐색을 고려한 소프트 상한선과 매우 유사하게 유지된다.