[논문 리뷰] A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning

Dong Ki Kim, Miao Liu외 7명|arXiv (Cornell University)|2020. 10. 31.

Reinforcement Learning in Robotics참고 문헌 40인용 수 12

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 위한 새로운 정책 그래เดียน트 알고리즘인 Meta-MAPG를 소개한다. 이 알고리즘은 환경 내 모든 에이전트의 비정적 학습 역학을 명시적으로 모델링한다. 상호 정책 업데이트를 고려하여 메타 최적화를 확장함으로써, 협동적, 경쟁적, 혼합 인cent라이브 환경에서 새로운 또는 학습 중인 상대방에 대해 더 빠르고 안정적인 적응을 가능하게 하며, 샘플 효율성과 일반화 능력에서 이전 방법들을 능가한다.

ABSTRACT

A fundamental challenge in multiagent reinforcement learning is to learn beneficial behaviors in a shared environment with other simultaneously learning agents. In particular, each agent perceives the environment as effectively non-stationary due to the changing policies of other agents. Moreover, each agent is itself constantly learning, leading to natural non-stationarity in the distribution of experiences encountered. In this paper, we propose a novel meta-multiagent policy gradient theorem that directly accounts for the non-stationary policy dynamics inherent to multiagent learning settings. This is achieved by modeling our gradient updates to consider both an agent's own non-stationary policy dynamics and the non-stationary policy dynamics of other agents in the environment. We show that our theoretically grounded approach provides a general solution to the multiagent learning problem, which inherently comprises all key aspects of previous state of the art approaches on this topic. We test our method on a diverse suite of multiagent benchmarks and demonstrate a more efficient ability to adapt to new agents as they learn than baseline methods across the full spectrum of mixed incentive, competitive, and cooperative domains.

연구 동기 및 목표

• 에이전트 상호 간의 상호 학습으로 인해 정책이 동적으로 변화하는 비정적 환경에서 발생하는 다중 에이전트 강화 학습의 근본적 도전 과제를 해결하기 위해.
• 다른 에이전트의 학습 과정을 메타 최적화 과정에서 명시적으로 모델링하는 메타 학습 프레임워크를 개발하여, 이를 고정된 외부 요소로 간주하지 않기 위해.
• Meta-PG와 LOLA와 같은 이전 접근법을 통합하고 이론적으로 기반을 다지는 것—즉, 상호 영향을 하나의 체계적 그래เดียน트 업데이트 규칙에 통합함으로써.
• 에이전트가 스스로 학습하는 새로운 에이전트에 신속하게 적응할 수 있도록 함으로써 샘플 효율성과 일반화 능력을 향상시키기 위해.

제안 방법

• 에이전트 자신의 정책 역학과 다른 에이전트의 비정적 정책 역학을 동시에 최적화하는 새로운 메타-다중에이전트 정책 그래디언트 정리(Meta-MAPG)를 유도한다.
• 모든 에이전트를 상호 의존적인 정책 업데이트를 가진 마코프 학습자로 모델링함으로써, 메타-정책 그래디언트 프레임워크(Meta-PG)를 다중 에이전트 환경으로 확장한다.
• Foerster 등(2018a)의 영감을 받아, 에이전트의 행동이 다른 에이전트의 학습 경로에 미치는 영향을 고려한 보정 항을 메타 그래디언트에 도입한다.
• 이중 최적화 구조를 사용: 내부 루프는 경험 기반 정책 업데이트를 위한 것이고, 외부 루프는 다른 에이전트의 미래 정책에 미치는 영향을 고려한 메타 그래디언트 업데이트를 위한 것이다.
• 경로 기반 액터-크리틱 아키텍처를 사용하며, 일반화된 이득 추정(GAE)과 정책 업데이트 체인에 대한 경험 재현을 적용한다.
• 협동적, 경쟁적, 혼합 인센티브 환경을 포함한 다양한 벤치마크—예를 들어 반복적 포로의 딜레마(IPD), 가위-바위-보(RPS), 다양한 숙련도 수준의 팀원이 있는 다중 에이전트 MuJoCo 환경—에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 메타 학습 프레임워크가 메타 최적화 과정에서 다른 에이전트의 비정적 학습 역학을 효과적으로 모델링할 수 있는가?
• RQ2 다른 에이전트를 정적 요소로 간주하는 것과 비교해, 상호 정책 영향을 명시적으로 모델링함으로써 적응 속도와 안정성이 어떻게 향상되는가?
• RQ3 Meta-MAPG는 Meta-PG와 LOLA-DiCE와 같은 이전 방법들을 어떻게 통합하거나 초월하는가? 다양한 다중 에이전트 환경에서의 처리 능력 측면에서 설명하라.
• RQ4 메타 그래디언트에 상호 영향을 포함함으로써, 다양한 숙련도 수준을 가진 새로운 상대 에이전트에 대해 일반화 능력이 향상되는가?
• RQ5 Meta-MAPG는 협동적, 경쟁적, 혼합 인센티브 다중 에이전트 작업 전반에서 어떻게 성능을 발휘하는가?

주요 결과

• Meta-MAPG는 IPD, RPS, 2D HalfCheetah를 포함한 모든 테스트 환경에서 Meta-PG, LOLA-DiCE, REINFORCE보다 뛰어난 적응 성능을 달성한다.
• 2D HalfCheetah 환경에서, Meta-MAPG는 메타 훈련 기간 동안 관찰되지 않은 475회 및 500회 반복 훈련을 마친 팀원에 대해 더 빠른 수렴과 더 나은 일반화 성능를 보였다.
• 상대방 학습이 독립적이라는 가정이 성립하지 않을 경우 Meta-PG에서 관찰된 발산 문제를 Meta-MAPG가 성공적으로 완화하였다. 이는 메타 그래디언트에 상호 영향을 포함시켰기 때문이다.
• 실험 결과에 따르면, IPD와 RPS에서 다른 에이전트가 활발히 학습하고 있는 동안에도 Meta-MAPG가 안정적인 정책 역학을 유지함을 입증하였으며, 일관된 행동 확률 경로가 관찰되었다.
• 알고리즘은 예상치 못한 상대의 숙련도 수준에 대해 효과적으로 일반화되며, 상대 정책의 분포 이탈에 대한 강건성을 보였다.
• 모든 기준선 대비 샘플 효율성이 뛰어나, 특히 복잡하고 비정적 환경에서 새로운 에이전트에 적응하기 위해 필요한 상호작용 횟수가 적었다.