[논문 리뷰] Modular Lifelong Reinforcement Learning via Neural Composition

Jorge A. Mendez, Harm van Seijen외 1명|arXiv (Cornell University)|2022. 07. 01.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 작업을 재사용 가능한 신경 모듈로 분해함으로써 새로운 작업의 빠른 학습을 가능하게 하는 새로운 모듈형 지속적 강화학습 프레임워크를 제안한다. 기존의 재사용 가능한 모듈을 활용한 기능적 조합을 통해 학습 속도를 향상시키고, 재해석된 경험을 기반으로 한 오프라인 배치 강화학습을 통해 지식 통합을 수행함으로써, 기존의 지속적 강화학습 방법보다 더 뛰어난 전진 전이 성능를 달성하고 치명적인 잊음 현상을 완전히 제거한다. 이는 이산적이고 로봇 조작 작업 모두에서 성능을 뛰어나게 한다.

ABSTRACT

Humans commonly solve complex problems by decomposing them into easier subproblems and then combining the subproblem solutions. This type of compositional reasoning permits reuse of the subproblem solutions when tackling future tasks that share part of the underlying compositional structure. In a continual or lifelong reinforcement learning (RL) setting, this ability to decompose knowledge into reusable components would enable agents to quickly learn new RL tasks by leveraging accumulated compositional structures. We explore a particular form of composition based on neural modules and present a set of RL problems that intuitively admit compositional solutions. Empirically, we demonstrate that neural composition indeed captures the underlying structure of this space of problems. We further propose a compositional lifelong RL method that leverages accumulated neural components to accelerate the learning of future tasks while retaining performance on previous tasks via off-line RL over replayed experiences.

연구 동기 및 목표

• 인공 에이전트가 인간의 조합적 추론을 모방하여 연속된 강화학습 작업 간에 기능적 구성 요소를 학습하고 재사용할 수 있도록 하는 것.
• 재생된 경험을 기반으로 한 오프라인 배치 강화학습을 활용하여 지속적 강화학습에서 발생하는 치명적인 잊음 문제를 해결하는 것.
• 구조화된 신경 모듈 재사용을 통해 새로운 조합적 작업에 대한 제로샷 일반화와 빠른 적응을 지원하는 방법을 설계하는 것.
• 기능적 조합성이 실제 계층적 강화학습 환경에서 학습되고 활용될 수 있음을 경험적으로 검증하는 것.

제안 방법

• 이 방법은 학습을 세 단계로 구조화한다: (1) 현재 작업에 적합한 모듈 조합을 탐색하고, (2) 최적의 조합을 사용하여 온라인 강화학습으로 미세조정하고, (3) 오프라인 배치 강화학습을 통해 기존 모듈에 새로운 지식을 통합한다.
• 신경 모듈은 정적 물체, 목표, 에이전트와 같은 구체적인 작업 구성 요소에 특화되어 있어, 단일 구조의 연결 방식이 아닌 모듈형 입력 처리 방식을 가능하게 한다.
• 아키텍처는 작업과 관련된 구성 요소에 따라 입력을 모듈에 분리함으로써, 기능적 조합 간의 모듈성과 호환성을 향상시킨다.
• 지식 통합 단계에서 오프라인 강화학습(예: BCQ 또는 CQL)을 사용하여 잊음 방지를 구현함으로써, 온라인 정규화나 경험 재생 방식을 대체한다.
• 문제 그래프 형식을 사용해 조합적 작업을 모델링함으로써, 제로샷 일반화와 작업 변형 간 전이 성능를 체계적으로 평가할 수 있다.
• 이 방법은 이산 2D 격자 세계와 로봇 조작 스위트 두 가지 도메인에서 평가되었으며, 모두 다수 수준의 조합적 구조를 나타낸다.

실험 결과

연구 질문

• RQ1 지속적 환경에서 연속된 작업 간에 강화학습의 기능적 조합성이 효과적으로 학습되고 재사용될 수 있는가?
• RQ2 모듈 탐색, 미세조정, 통합을 분리함으로써 표준 지속적 강화학습 방법에 비해 학습 속도 향상과 잊음 방지에 어떤 영향을 미치는가?
• RQ3 잊음 방지를 위해 오프라인 배치 강화학습을 사용할 경우, 온라인 정규화나 경험 재생 방식에 비해 얼마나 더 우수한 성능를 보이는가?
• RQ4 모듈 수의 변동에 대해 이 방법은 얼마나 강인한가? 아키텍처의 변형에 대해서도 성능 유지가 가능한가?
• RQ5 모듈형 아키텍처는 단일 구조 모델에 비해 더 나은 제로샷 일반화와 전진 전이 성능를 제공하는가?

주요 결과

• 오프라인 배치 강화학습를 사용한 제안된 방법(P&C with batch RL)은 2D 이산 환경과 로봇 조작 환경 모두에서 잊음 현상을 완전히 억제하며, EWC 및 기타 지속적 강화학습 기준선보다 뛰어난 성능를 보였다.
• 지식 통합 단계에서 배치 강화학습를 사용함으로써 온라인 정규화보다 더 나은 전진 전이 성능를 달성함을 확인하여, 안정적인 지식 유지가 향후 학습에 기여함을 시사한다.
• 이 방법은 강력한 제로샷 일반화 성능를 보였다: 잘못된 모듈을 사용할 경우, 잘못된 목표나 에이전트 모듈을 사용할 경우 성능가 급격히 떨어지며, 이는 의미 있는 모듈 특화를 검증한다.
• 모듈 수의 변동에 대해 아키텍처가 강인하다: 구성 요소 유형당 더 많거나 적은 수의 모듈을 사용하더라도 성능가 안정적으로 유지되며, 이는 설계의 유연성을 시사한다.
• 동일한 학습 목표(CLEAR)를 사용하더라도 단일 구조 아키텍처를 제안된 모듈형 설계로 대체함으로써 성능가 크게 향상되었으며, 이는 아키텍처 수준의 조합성의 유용성을 증명한다.
• 로봇 조작 스위트에서 이 방법은 표준 학습(STL)을 초월해 학습 속도를 높였으며, 잊음으로 인한 성능 저하도 방지하여 실제 적용 가능성도 입증했다.