[논문 리뷰] Continuous Coordination As a Realistic Scenario for Lifelong Learning

Hadi Nekoei, Akilesh Badrinaaraayanan외 2명|PolyPublie (École Polytechnique de Montréal)|2021. 03. 04.

Reinforcement Learning in Robotics참고 문헌 59인용 수 7

한 줄 요약

이 논문은 지속적인 다중 에이전트 협업을 모델링하기 위해 협동 카드 게임 한바이(Hanabi)를 사용하는 새로운 지속적 강화학습 벤치마크인 Lifelong Hanabi를 소개한다. 다양한 사전 훈련된 에이전트 풀에서 전략이 다른 에이전트들을 순차적으로 협업하도록 훈련시킴으로써, 프레임워크는 제로샷 일반화를 가능하게 하며 지속적 학습에서의 핵심적 상충관계를 드러내며, 지속적 훈련이 다양한 다중에이전트강화학습(MARL) 방법에서 교차 플레이 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Current deep reinforcement learning (RL) algorithms are still highly task-specific and lack the ability to generalize to new environments. Lifelong learning (LLL), however, aims at solving multiple tasks sequentially by efficiently transferring and using knowledge between tasks. Despite a surge of interest in lifelong RL in recent years, the lack of a realistic testbed makes robust evaluation of LLL algorithms difficult. Multi-agent RL (MARL), on the other hand, can be seen as a natural scenario for lifelong RL due to its inherent non-stationarity, since the agents' policies change over time. In this work, we introduce a multi-agent lifelong learning testbed that supports both zero-shot and few-shot settings. Our setup is based on Hanabi -- a partially-observable, fully cooperative multi-agent game that has been shown to be challenging for zero-shot coordination. Its large strategy space makes it a desirable environment for lifelong RL tasks. We evaluate several recent MARL methods, and benchmark state-of-the-art LLL algorithms in limited memory and computation regimes to shed light on their strengths and weaknesses. This continual learning paradigm also provides us with a pragmatic way of going beyond centralized training which is the most commonly used training protocol in MARL. We empirically show that the agents trained in our setup are able to coordinate well with unseen agents, without any additional assumptions made by previous works. The code and all pre-trained models are available at https://github.com/chandar-lab/Lifelong-Hanabi.

연구 동기 및 목표

• 지속적 강화학습(Lifelong Reinforcement Learning, LLL)의 다중에이전트 설정에서 현실적이고 도전적인 벤치마크의 부족을 해결하기 위해.
• 인위적인 환경 변화가 아닌 다양한 에이전트 전략을 통해 비정상성(non-stationarity)을 모델링하기 위해.
• 훈련 중에 만난 적이 없는 새로운 파트너와 협업해야 하는 현실적인 조건에서 LLL 알고리즘을 평가하기 위해.
• 중앙집중적 훈련을 넘어서, 지속적 학습 환경에서 분산형 제로샷 협업을 가능하게 하기 위해.
• 작업 유사도는 교차 플레이 점수를 통해 정량화하고, 전진/후진 전이를 측정할 수 있는 확장 가능하고 재현 가능한 벤치마크를 제공하기 위해.

제안 방법

• Lifelong Hanabi는 협동 게임 한바이(Hanabi)를 기반으로 하며, 한 명의 학습 에이전트가 다양한 MARL 방법과 시드를 사용해 사전 훈련된 100개 이상의 에이전트 풀과 순차적으로 상호작용한다.
• 작업 유사도는 교차 플레이(CP) 행렬을 통해 정량화되며, 각 항목은 두 에이전트가 함께 플레이했을 때의 점수를 나타내며 전략 간 거리의 대체 척도가 된다.
• 학습 에이전트는 비정상적인 정책을 시뮬레이션하기 위해 파트너 에이전트의 시퀀스를 거쳐 지속적 훈련을 수행한다.
• 평가에는 단일 플레이(SP), 동일 MARL 방법 내 교차 플레이(Intra-method CP), 다른 MARL 방법 간 교차 플레이(Inter-method CP)의 세 가지 설정이 포함되어 제로샷 협업 능력을 평가한다.
• 메모리 및 계산 자원 제약 조건 하에서 경험 재생(ER), 다중작업학습(MTL), 파라미터 격리 등의 다양한 LLL 알고리즘이 적용되고 비교된다.
• 프레임워크는 전진 전이(새로운 파트너에 대한 성능 향상)와 후진 전이(이전 협업 기술 유지 능력) 평가를 가능하게 하며, 성능은 CP 점수로 측정된다.

실험 결과

연구 질문

• RQ1 지속적 다중에이전트 환경에서 훈련된 지속적 강화학습 에이전트는 다양한 MARL 방법에서 유래한 새로운 에이전트와 효과적인 제로샷 협업을 달성할 수 있는가?
• RQ2 실제 전략 다양성을 가진 벤치마크에서 평가했을 때, 표준 LLL 알고리즘은 후진 및 전진 전이 측면에서 어떻게 성능을 보이는가?
• RQ3 개별 작업에 대해 훈련하는 것과 비교해, 지속적 훈련이 다양한 MARL 방법 간 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 구조적 및 훈련 가정(예: 대칭성, 보조 과제, 사전 훈련)이 지속적 환경에서 일반화 능력에 어떤 영향을 미치는가?
• RQ5 훈련 중에 만난 파트너 에이전트의 순서가 제로샷 환경에서 최종 협업 성능에 영향을 미치는가?

주요 결과

• Lifelong Hanabi 환경에서 훈련된 에이전트는 초기 정책에 비해 단일 플레이(SP) 점수는 낮지만, 교차 플레이(Inter-CP) 점수에서 뚜렷한 향상을 보이며, 새로운 에이전트와의 제로샷 협업 능력이 향상됨을 확인했다.
• IQL+AUX+ER 방법이 평가된 모든 방법 중에서 가장 높은 Inter-CP 성능을 기록했으며, 제로샷 협업에서 전용 MARL 알고리즘조차도 뛰어넘었다.
• 최신 SOTA MARL 알고리즘은 동일 방법 내 CP와 SP에서는 잘 작동하지만, Inter-CP에서는 실패함을 확인하여, 다양한 훈련 철학 간 일반화 능력의 심각한 격차를 드러냈다.
• Adam를 사용한 MTL과 SGD를 사용한 ER이 가장 높은 최종 Inter-CP 점수를 기록했으며, 지속적 학습 환경에서 강력한 일반화 능력을 보였지만, MTL은 모든 파트너에 동시에 접근이 필요해 현실 적용에 제약가 있음.
• 프레임워크는 새로운 파트너에 적응하는 것과 이전 파트너와의 협업 능력을 유지하는 것 사이에 명확한 상충관계가 있음을 드러내며, 지속적 다중에이전트 학습에서 안정성-유연성 딜레마를 강조했다.
• 본 연구는 이 설정에서의 지속적 훈련이 중앙집중적 훈련이나 추가 가정 없이 효과적인 제로샷 협업을 가능하게 함을 보여주며, 벤치마크의 현실성과 유용성을 검증했다.