[논문 리뷰] Independent Generative Adversarial Self-Imitation Learning in Cooperative Multiagent Systems

Xiaotian Hao, Weixun Wang외 2명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 독립적인 생성적 적대적 자기모방 학습(IGASIL)이라는 새로운 프레임워크를 제안한다. 이는 완전히 분산된 에이전트가 자기모방과 생성적 적대적 모방 학습을 통해 협동 다에이전트 강화 학습을 수행할 수 있도록 하는 것이다. 하위 커리큘럼 경험 재생 메커니즘과 적대적 모방 학습을 결합함으로써, IGASIL은 스타크래프트 미크로매니지먼트 및 야생동물 구조 작업 모두에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 수렴 속도와 최종 수익 측면에서 공동 행동 학습자들조차도 능가하였다.

ABSTRACT

Many tasks in practice require the collaboration of multiple agents through reinforcement learning. In general, cooperative multiagent reinforcement learning algorithms can be classified into two paradigms: Joint Action Learners (JALs) and Independent Learners (ILs). In many practical applications, agents are unable to observe other agents' actions and rewards, making JALs inapplicable. In this work, we focus on independent learning paradigm in which each agent makes decisions based on its local observations only. However, learning is challenging in independent settings due to the local viewpoints of all agents, which perceive the world as a non-stationary environment due to the concurrently exploring teammates. In this paper, we propose a novel framework called Independent Generative Adversarial Self-Imitation Learning (IGASIL) to address the coordination problems in fully cooperative multiagent environments. To the best of our knowledge, we are the first to combine self-imitation learning with generative adversarial imitation learning (GAIL) and apply it to cooperative multiagent systems. Besides, we put forward a Sub-Curriculum Experience Replay mechanism to pick out the past beneficial experiences as much as possible and accelerate the self-imitation learning process. Evaluations conducted in the testbed of StarCraft unit micromanagement and a commonly adopted benchmark show that our IGASIL produces state-of-the-art results and even outperforms JALs in terms of both convergence speed and final performance.

연구 동기 및 목표

• 다른 에이전트의 행동이나 보상을 관찰할 수 없는 완전히 협동적인 다에이전트 시스템에서의 협업 과제를 해결하기 위해.
• 독립 학습에서 발생하는 비정적 문제를 해결하기 위해, 에이전트가 자신의 과거 성공 경험에서 학습할 수 있도록 하기 위해.
• 기존의 Q-학습 기반 모방 학습 방법이 적용되지 않는 연속 제어 작업에서의 샘플 효율성 향상과 수렴 속도 향상을 위해.
• 중앙 집중식 크리틱이나 공동 행동 공간에 의존하지 않는 완전히 분산된 독립 학습 프레임워크를 개발하기 위해.
• 자기모방과 GAIL의 조합이 복잡한 협동 환경에서 기존의 독립 및 공동 학습 파라다임을 능가할 수 있음을 입증하기 위해.

제안 방법

• 각 에이전트는 일반 롤아웃을 위한 정상 버퍼와 고성능 트레이젝터리 저장을 위한 양성(하위 커리큘럼) 버퍼를 유지한다.
• 하위 커리큘럼 경험 재생 메커니즘은 과거 성공적인 에피소드에서 유용한 부분 트레이젝터리를 추출하여 양성 버퍼에 저장함으로써 자기모방 학습을 가속화한다.
• 생성적 적대적 모방 학습(GAIL) 판별기는 양성 버퍼에서 온 전문가 유사 시범(전문가 시범)과 현재 행동을 구분하도록 훈련되며, 정책 개선을 이끌어낸다.
• 자기모방은 판별기의 보상 신호를 활용하여 에이전트가 자신의 과거 고품질 경험을 재학습함으로써 수행된다.
• 이 프레임워크는 오프-폴리시 방식으로 작동하여, 특히 보상이 희박한 환경에서 효율적인 재생과 샘플 재사용이 가능하다.
• 이 방법은 완전히 분산되어 있으며, 각 에이전트는 다른 에이전트의 정책에 대한 지식 없이도 자신의 관측과 경험만으로 학습한다.

실험 결과

연구 질문

• RQ1 자기모방 학습을 생성적 적대적 모방 학습과 효과적으로 조합하여 독립적인 다에이전트 시스템에서의 협업을 향상시킬 수 있는가?
• RQ2 제안된 하위 커리큘럼 경험 재생 메커니즘이 협동 작업에서 학습을 현저히 가속화하고 정책 성능을 향상시키는가?
• RQ3 독립적이고 분산된 프레임워크가 협동 다에이전트 환경에서 공동 행동 학습자들과 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ4 복잡한 협동 작업에서 오프-폴리시 IGASIL 버전의 샘플 효율성은 온-폴리시 대비 어떻게 비교되는가?
• RQ5 양성 버퍼에 저장된 경험의 품질이 훈련 과정에서 에이전트 성능 햖थ에 얼마나 기여하는가?

주요 결과

• IGASIL은 스타크래프트 유닛 미크로매니지먼트 및 협동적 멸종 위험에 처한 야생동물 구조 작업 모두에서 최신 기술 수준의 성능을 달성하였으며, 수렴 속도와 최종 수익 측면에서 기존 방법들을 능가하였다.
• 오프-폴리시 버전의 IGASIL은 애완동물 구조 작업에서 전문가 수준의 성능을 달성하기 위해 온-폴리시 버전보다 약 10배 적은 샘플을 필요로 하였다.
• 하위 커리큘럼 경험 재생 메커니즘이 학습을 현저히 가속화하였으며, IAC+SCER는 두 가지 시나리오에서 IAC+PER 및 기본 IAC보다 뛰어난 성능을 보였다.
• 훈련이 진행될수록 양성 버퍼 $M_E^i$에 저장된 경험의 품질이 향상되어 더 나은 정책 학습과 더 높은 평균 수익을 이끌어냈다.
• 에피소드당 살해된 적의 수는 저장된 경험의 품질 향상과 함께 증가하였으며, 이는 더 나은 부분 기술이 학습되고 재사용되고 있음을 확인하였다.
• IGASIL은 온-폴리시 및 오프-폴리시 기준선과 비교해도 뛰어난 샘플 효율성과 더 빠른 수렴을 보였으며, 성능 지표에서도 공동 행동 학습자들을 뛰어넘었다.