[논문 리뷰] Promoting Coordination through Policy Regularization in Multi-Agent Deep Reinforcement Learning

Julien Le Roy, Paul Barde외 3명|arXiv (Cornell University)|2019. 08. 06.

Reinforcement Learning in Robotics참고 문헌 37인용 수 13

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL)에서 협업을 향상시키기 위해 팀원의 행동을 예측하거나 하위 정책 선택을 동기화하도록 유도하는 두 가지 정책 정규화 방법—TeamReg 및 CoachReg—을 제안한다. 실험 결과, CoachReg는 희박 보상이 주어지는 연속 제어 과제와 이산 행동을 가지는 Google Research Football 환경에서 성능을 크게 향상시키며, TeamReg는 협업에 도움이 되지만 과제에 따라 달라지는 신호를 제공한다.

ABSTRACT

In multi-agent reinforcement learning, discovering successful collective behaviors is challenging as it requires exploring a joint action space that grows exponentially with the number of agents. While the tractability of independent agent-wise exploration is appealing, this approach fails on tasks that require elaborate group strategies. We argue that coordinating the agents' policies can guide their exploration and we investigate techniques to promote such an inductive bias. We propose two policy regularization methods: TeamReg, which is based on inter-agent action predictability and CoachReg that relies on synchronized behavior selection. We evaluate each approach on four challenging continuous control tasks with sparse rewards that require varying levels of coordination as well as on the discrete action Google Research Football environment. Our experiments show improved performance across many cooperative multi-agent problems. Finally, we analyze the effects of our proposed methods on the policies that our agents learn and show that our methods successfully enforce the qualities that we propose as proxies for coordinated behaviors.

연구 동기 및 목표

• 에이전트 수가 증가함에 따라 행동 공간이 기하급수적으로 증가하는 다중 에이전트 강화학습에서 공동 행동을 발견하는 과제를 해결한다.
• 복잡한 그룹 전략이 필요한 과제에서 실패하는 경우가 많은 독립적 탐색의 한계를 극복한다.
• 작업 특화 보상 설계에 의존하지 않고도 정책 학습에 인도적 편향을 도입하여 협업 행동으로의 탐색을 유도한다.
• 연속적 및 이산 행동 환경, 특히 도전적인 희박 보상 설정에서 협업을 촉진하는 정규화 기법의 효과를 평가한다.
• 제안된 방법이 실제 협업을 반영하는 예측 가능하고 동기화된 행동을 보이는 학습된 정책을 어떻게 형성하는지 분석한다.

제안 방법

• 모든 에이전트가 공유된 행동 예측 헤드를 사용해 팀원의 행동을 예측하도록 유도하는 정규화 방법인 TeamReg를 제안하여 상호 에이전트 예측 가능성을 증진시킨다.
• 에이전트들이 공통 환경 상태를 인식하고 동시에 행동하도록 유도함으로써 하위 정책 선택의 동기화를 강제하는 CoachReg를 도입한다.
• 중앙집중적 훈련 및 분산 실행(CTDE) 프레임워크에 두 정규화 기법을 통합하여 주 반환 최적화 목표와 함께 공동 최적화한다.
• 공동 행동 기반의 가치 추정치를 제공하기 위해 중앙집중적 크기터를 사용하여 정책 정규화 기법이 고수익 협업 전략으로 향하도록 학습을 이끌 수 있도록 한다.
• 기본 알고리즘으로 MADDPG를 사용하여 중앙집중적 훈련 중에 새로운 정규화 목표를 확장하고 분산 추론를 유지한다.
• 연속 제어 과제(예: 다중 에이전트 입자 환경)와 이산 행동을 가지는 Google Research Football 환경에 두 방법을 적용하여 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 상호 에이전트 행동 예측을 촉진하는 정책 정규화(TeamReg)가 협업 MARL 과제에서 샘플 효율성과 성능을 향상시키는가?
• RQ2 하위 정책 선택의 동기화를 강제하는 것(CoachReg)이 다중 에이전트 환경에서 더 효과적인 협업과 더 빠른 수렴을 이끌어내는가?
• RQ3 성공적인 협업이 우연히 발견되기 어려운 희박 보상 환경에서 이러한 정규화 기법은 어떻게 작용하는가?
• RQ4 TeamReg가 유익한 환경과, 예를 들어 경쟁 요소가 포함된 환경에서는 해로울 수 있는 상황은 어떤가?
• RQ5 제안된 방법이 예측 가능하거나 동기화된 행동을 보이는 정책을 얼마나 잘 이끌어내는가?

주요 결과

• CoachReg는 평가된 모든 환경에서 일관되게 성능을 향상시켰으며, 특히 3vs2 Google Research Football 설정에서는 유일하게 MADDPG + CoachReg가 평균 수익 0.088 ± 0.017을 기록하며 양의 평균 수익을 달성했다.
• TeamReg는 외부 보상 없이도 협업 전략을 발견하는 데 도움이 되는 조밀한 학습 신호를 제공하며, 상호 예측이 필요한 과제에서 특히 유용하다.
• 다중 에이전트 입자 환경에서 CoachReg는 3vs2 과제에서 평균 수익 0.088 ± 0.017을 기록하여 기준선인 MADDPG와 MADDPG + TeamReg를 크게 앞서며 성능을 뛰어올랐다.
• TeamReg는 혼합된 결과를 보였다: 일부 과제에서는 성능 향상을 이끌었지만, 경쟁 요소가 포함된 환경에서는 해로웠으며, 이는 과제 의존적인 효과를 반영한다.
• 제거 실험을 통해 두 정규화 기법이 정책 행동을 상당히 변화시켜 의도한 바와 같이 상호 에이전트 행동 예측 가능성과 하위 정책 동기화를 증가시킴을 확인했다.
• 이러한 방법들은 의도한 협업의 지표인 예측 가능성과 동기화를 효과적으로 강제하여, 정책 정규화가 MARL 훈련에 협업의 인도적 편향을 효과적으로 통합할 수 있음을 입증했다.