[논문 리뷰] Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning

Filippos Christianos, Lukas Schäfer외 1명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 40인용 수 22

한 줄 요약

이 논문은 다중 에이전트 강화학습 알고리즘인 공유 경험 액터-크리틱(SEAC)을 제안한다. SEAC는 에이전트의 자체 경험에서 유도된 기울기와 다른 에이전트의 경험에서 유도된 가중 기울기를 조합하여 탐색을 향상시킨다. SEAC는 희소 보상 환경에서 독립 학습, 공유 정책 학습, 그리고 MADDPG나 QMIX와 같은 최신 다중 에이전트 강화학습(MARL) 방법보다 더 빠른 학습 속도와 더 높은 수익을 달성하며, 최대 70% 적은 학습 단계가 필요하다. 이는 계산 오버헤드가 3% 미만으로 추가되는 것으로 매우 효율적이다.

ABSTRACT

Exploration in multi-agent reinforcement learning is a challenging problem, especially in environments with sparse rewards. We propose a general method for efficient exploration by sharing experience amongst agents. Our proposed algorithm, called Shared Experience Actor-Critic (SEAC), applies experience sharing in an actor-critic framework. We evaluate SEAC in a collection of sparse-reward multi-agent environments and find that it consistently outperforms two baselines and two state-of-the-art algorithms by learning in fewer steps and converging to higher returns. In some harder environments, experience sharing makes the difference between learning to solve the task and not learning at all.

연구 동기 및 목표

• 희소 보상 환경에서 에이전트가 함께 유의미한 행동을 발견하기 어려운 상황에서 다중 에이전트 강화학습의 비효율적 탐색 문제를 해결하기 위해.
• 에이전트들이 서로 다른 속도로 학습함으로써 협업이 저해되고 전체 샘플 효율성이 떨어지는 문제를 해결하기 위해.
• 복잡한 아키텍처, 추가 네트워크, 하이퍼파라미터 튜닝 없이도 단순하고 확장 가능한 경험 공유 방법을 개발하기 위해.
• 다른 에이전트의 경험을 공유할 경우, 독립 학습 또는 중심화된 학습 접근 방식에 비해 학습 속도와 최종 성능을 크게 향상시킬 수 있는지 평가하기 위해.
• 개별 에이전트의 탐색 성공률이 낮을 때에도 경험 공유가 협동 정책 학습을 더 효과적으로 가능하게 하는지 입증하기 위해.

제안 방법

• SEAC는 각 에이전트가 자신의 기울기와 다른 에이전트의 경험에서 유도된 가중 기울기를 조합하여 정책과 가치 함수를 갱신하는 액터-크리틱 프레임워크 내에서 작동한다.
• 각 에이전트의 국소 기울기와 다른 에이전트의 경로에서 유도된 중요도 가중 기울기를 조합함으로써, 동일한 정책이 필요 없이도 공유 학습이 가능하다.
• 오프-폴리시 업데이트의 안정성을 확보하기 위해 중요도 샘플링을 적용하여, 비동일한 정책에서 유도된 경험에도 불구하고 안정적인 학습을 보장한다.
• 분산 실행을 유지하여 테스트 시점에 에이전트들이 독립적으로 행동할 수 있도록 하면서도, 중심화된 학습과 경험 공유를 통해 이점을 얻는다.
• MADDPG나 COMA와 같이 공동 행동가치 함수나 복잡한 크리틱을 학습하지 않아 아키텍처의 복잡성을 줄였다.
• 이 방법은 계산적으로 경량이며, 독립 학습 대비 3% 미만의 추가 오버헤드만을 유발하며, 추가 파라미터 튜닝이 필요 없다.

실험 결과

연구 질문

• RQ1 에이전트 간 경험 공유가 희소 보상 환경에서 다중 에이전트 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 경험 공유가 에이전트들이 서로 다른 속도로 학습함으로써 발생하는 협업 저해 문제를 완화할 수 있는가?
• RQ3 SEAC는 MADDPG, QMIX, ROMA와 같은 최신 MARL 알고리즘과 비교해 학습 속도와 최종 수익 측면에서 어떻게 성과를 내는가?
• RQ4 개별 탐색이 제한된 상황에서 경험 공유가 얼마나 효과적으로 협동 정책 학습을 가능하게 하는가?
• RQ5 단순하고 경량의 경험 공유 메커니즘이 다중 에이전트 환경에서 더 복잡한 중심화된 학습 접근 방식을 능가할 수 있는가?

주요 결과

• SEAC는 희소 보상 환경에서 독립 학습 대비 최대 70% 적은 학습 단계로 최적 성능에 도달했다.
• LBF와 RWARE와 같은 환경에서 SEAC는 MADDPG가 완전히 실패한 상황에서도 학습을 가능하게 하여 뛰어난 샘플 효율성과 강건성을 입증했다.
• SEAC는 최종 수익과 학습 속도 측면에서 공유 정책 학습 및 QMIX, ROMA와 같은 최신 알고리즘을 일관되게 능가했다.
• SEAC로 학습한 에이전트들은 약간의 동일한 속도로 향상되었으며, 독립 학습(IAC)에서 관찰된 학습 진전의 분리 문제를 피함으로써 최적의 성능을 달성했다.
• 독립 학습 대비 3% 미만의 추가 계산 비용만을 유발하여 실세계 적용에 매우 효율적이고 실용적이다.
• SEAC에서 중요도 샘플링이 표준 오프-폴리시 RL과 달리 심각한 학습 불안정성을 유발하지 않아, 적절한 가중치를 적용한 경험 공유가 안정적이고 효과적임을 시사한다.