[논문 리뷰] Concurrent Meta Reinforcement Learning

Emilio Parisotto, Soham Ghosh외 4명|arXiv (Cornell University)|2019. 03. 07.

Reinforcement Learning in Robotics참고 문헌 24인용 수 14

한 줄 요약

이 논문은 병렬 다중 에이전트 프레임워크인 동시 메타강화학습(CMRL)을 제안한다. 이는 에이전트 간의 통신과 탐색 조율을 통해 소수의 샘플에서 강화학습의 샘플 효율성을 향상시킨다. 장기적인 보상 할당 문제를 다중 에이전트 조율 문제로 변환함으로써, 특히 고차원 상태공간과 부분관측 가능한 환경에서 ERL2와 같은 순차적 방법보다 우수한 탐색 성능과 더 빠른 적응을 달성한다.

ABSTRACT

State-of-the-art meta reinforcement learning algorithms typically assume the setting of a single agent interacting with its environment in a sequential manner. A negative side-effect of this sequential execution paradigm is that, as the environment becomes more and more challenging, and thus requiring more interaction episodes for the meta-learner, it needs the agent to reason over longer and longer time-scales. To combat the difficulty of long time-scale credit assignment, we propose an alternative parallel framework, which we name "Concurrent Meta-Reinforcement Learning" (CMRL), that transforms the temporal credit assignment problem into a multi-agent reinforcement learning one. In this multi-agent setting, a set of parallel agents are executed in the same environment and each of these "rollout" agents are given the means to communicate with each other. The goal of the communication is to coordinate, in a collaborative manner, the most efficient exploration of the shared task the agents are currently assigned. This coordination therefore represents the meta-learning aspect of the framework, as each agent can be assigned or assign itself a particular section of the current task's state space. This framework is in contrast to standard RL methods that assume that each parallel rollout occurs independently, which can potentially waste computation if many of the rollouts end up sampling the same part of the state space. Furthermore, the parallel setting enables us to define several reward sharing functions and auxiliary losses that are non-trivial to apply in the sequential setting. We demonstrate the effectiveness of our proposed CMRL at improving over sequential methods in a variety of challenging tasks.

연구 동기 및 목표

• 장기적인 보상 할당 문제로 인해 복잡한 환경에서 어려움을 겪는 순차적 메타-RL 방법의 확장성 한계를 해결하기 위해.
• 다중 에이전트 간의 통신을 통해 병행적이고 조율된 탐색을 가능하게 함으로써 소수의 강화학습에서 샘플 효율성을 향상시키기 위해.
• 병행적이고 다중 에이전트 환경에서만 가능한 새로운 보상 공유 메커니즘과 보조 손실을 설계하기 위해.
• 병행적 롤아웃을 통해 효과적인 메타-호리즌을 단축시킴으로써 메타 최적화에서 장기적인 역전파-시간에 대한 의존도를 줄이기 위해.
• 병행 실행과 통신이 순차적 방법보다 더 다양하고 효과적인 탐색을 이끌어내는지 검증하기 위해.

제안 방법

• 동일한 환경과 상호작용하는 병렬 롤아웃 에이전트를 사용하며, 공유된 통신 프로토콜을 통해 탐색을 조율한다.
• 각 에이전트는 탐색할 상태공간의 일부를 할당받고, 통신을 통해 중복 샘플링을 방지하면서도 유망한 영역에 대한 정보를 공유한다.
• 최대-실행까지 및 표준편차-실행까지 등의 보상 공유 기법을 조합하여 고위험 탐색을 장려하면서 외부 보상 신호를 유지한다.
• 에이전트 간 행동 다양성을 장려하기 위해 분산 보조 손실을 도입하여 조기 수렴을 방지하고 탐색 효율성을 향상시킨다.
• 메타학습 구성 요소는 통신 프로토콜에 통합되어 있으며, 에이전트는 공유 경험 기반으로 탐색 전략을 조율하도록 학습한다.
• 엔트로피 정규화를 적용한 A2C 스타일의 정책 최적화를 사용하며, 통신은 어텐션 메커니즘 또는 메시지 전달 레이어로 구현된다.

실험 결과

연구 질문

• RQ1 병행적 다중 에이전트 프레임워크는 순차적 방법에 비해 메타-RL에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 병행적 에이전트 간의 통신이 부분관측 가능한 환경에서 탐색 다양성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 병행 실행을 위해 설계된 새로운 보상 공유 기법이 장기적인 보상 할당 과제에서 전통적인 순차적 보상 형상화 기법보다 우수한 성능을 낼 수 있는가?
• RQ4 분산 정규화와 같은 보조 손실의 기여도는 메타-학습 성능 향상에 어떤 영향을 미치는가?
• RQ5 병행 설정이 장기적인 역전파-시간이 필요한 정도를 줄여 훈련 안정성을 향상시키는가?

주요 결과

• CMRL은 4팔다리 도구기구 환경에서 ERL2보다 탐색 효율성이 뛰어나며, 고유한 목표 위치를 30% 더 많이 방문했고, 고보상 영역의 방문 빈도는 40% 증가했다.
• Max+StDev-Until-Exploit 보상 기법의 조합은 개별 기법과 유사한 성능을 달성하여 하이퍼파rameter 조정에 대한 강건성을 입증했다.
• 보상 공유 기법을 제거하면 성능이 떨어지지만, 분산 보조 손실 덕분에 여전히 ERL2를 능가했다.
• 분산 보조 손실을 제거하면 성능이 급격히 떨어졌고, 최종 수익은 거의 0에 수렴하여 이 손실이 효과적인 탐색을 유지하는 데 핵심적인 역할을 함을 시사했다.
• Max-Until-Exploit CMRL는 보조 손실 없이도 최적의 탐색 정책을 달성했으며, 이는 더 나은 엔트로피 하이퍼파rameter 조정으로 성능을 복구할 수 있음을 시사했다.
• 10몬티홀 환경에서 모든 구성 요소를 포함한 CMRL가 가장 높은 탐색 수익을 기록하여, 통신, 보상 공유, 보조 손실 간의 상호보완적 효과를 입증했다.