[논문 리뷰] Modelling the Dynamic Joint Policy of Teammates with Attention Multi-agent DDPG

Hangyu Mao, Zhengchao Zhang외 2명|arXiv (Cornell University)|2018. 11. 13.

Reinforcement Learning in Robotics참고 문헌 28인용 수 53

한 줄 요약

ATTention MADDPG는 중앙 집중식 크리틱과 주의 메커니즘을 통해 협력 다중 에이전트 태스크에서 팀원들의 동적으로 변화하는 공동 정책을 명시적으로 모델링하고, 확장성 및 강건성을 향상시킨다.

ABSTRACT

Modelling and exploiting teammates' policies in cooperative multi-agent systems have long been an interest and also a big challenge for the reinforcement learning (RL) community. The interest lies in the fact that if the agent knows the teammates' policies, it can adjust its own policy accordingly to arrive at proper cooperations; while the challenge is that the agents' policies are changing continuously due to they are learning concurrently, which imposes difficulty to model the dynamic policies of teammates accurately. In this paper, we present \\emph{ATTention Multi-Agent Deep Deterministic Policy Gradient} (ATT-MADDPG) to address this challenge. ATT-MADDPG extends DDPG, a single-agent actor-critic RL method, with two special designs. First, in order to model the teammates' policies, the agent should get access to the observations and actions of teammates. ATT-MADDPG adopts a centralized critic to collect such information. Second, to model the teammates' policies using the collected information in an effective way, ATT-MADDPG enhances the centralized critic with an attention mechanism. This attention mechanism introduces a special structure to explicitly model the dynamic joint policy of teammates, making sure that the collected information can be processed efficiently. We evaluate ATT-MADDPG on both benchmark tasks and the real-world packet routing tasks. Experimental results show that it not only outperforms the state-of-the-art RL-based methods and rule-based methods by a large margin, but also achieves better performance in terms of scalability and robustness.

연구 동기 및 목표

• 협력 다중 에이전트 시스템에서 팀원들의 동적으로 변화하는 정책을 모델링하는 문제에 대한 동기 부여 및 도전 과제 다루기.
• 조인트 팀원 정책을 포착하기 위해 중앙 집중식 주의 기반 크리틱을 갖춘 확장 가능한 분산형 배우를 제안하기.
• 적응형 정책 모델링을 통해 연속 동작 다중 에이전트 태스크에서 효과적인 협업 가능하게 하기.
• 실세계 라우팅 및 벤치마크 작업에서 성능, 확장성 및 강건성의 향상을 시연하기.

제안 방법

• 다른 에이전트의 관찰 및 행동에 접근하는 중앙 집중식 크리틱으로 DDPG를 확장한다.
• 다른 팀원 행동에 대한 조건부 Q-값을 추정하기 위한 K-head 모듈을 도입한다.
• Soft Attention 메커니즘을 적용하여 행동 조건부 Q-값을 맥락적 Q-값으로 가중합한다.
• 여러 차원의 맥락적 Q-값을 공동 정책 분포를 근사하기 위한 공간으로 환산하여 모든 조합의 공동 행동을 명시적으로 모델링하지 않고도 근사한다.
• 연속 동작에 대한 K-head 적응을 포함하여 다중 차원 맥락적 Q-값을 표준 TD 학습을 위한 스칼라 Q-값으로 변환한다.
• 중앙 집중식 훈련, 분산 실행 패러다임에서 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 크리틱과 주의 메커니즘을 사용하여 협력 MARL에서 팀원들의 동적 공동 정책을 어떻게 모델링할 수 있는가?
• RQ2 ATT-MADDPG가 연속 동작 다중 에이전트 태스크에서 상태-of-the-art 방법보다 학습 안정성, 확장성 및 성능을 향상시키는가?
• RQ3 작은 K-head 주의 구조가 유사한 팀원 행동을 효과적으로 그룹화하여 공동 정책 분포를 근사할 수 있는가?
• RQ4 주의 메커니즘이 변화하는 팀원 정책에 대한 강건성에 미치는 영향은 무엇인가?

주요 결과

• ATT-MADDPG는 실제 패킷 라우팅과 벤치마크 작업 모두에서 상태-of-the-art RL 기반 및 규칙 기반 방법보다 우수한 성능을 보인다.
• 주의 메커니즘은 에이전트 수가 증가할 때 특히 확장성과 강건성을 향상시킨다.
• K-head 모듈은 유사한 팀원 행동을 그룹화할 수 있어 공동 정책의 효율적 근사를 가능하게 한다.
• 강력한 성능을 위한 K-head 모듈과 주의의 결합이 필요하며(K-head만으로는 충분하지 않다).
• 실험 결과 테스트된 토폴로지에서 MADDPG 및 PSMADDPGV2에 비해 보상 결과 및 협력 면에서 더 우수한 성능을 보인다.