[논문 리뷰] Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning

Andrea Celli, Marco Ciccone외 2명|arXiv (Cornell University)|2019. 12. 16.

Evolutionary Game Theory and Cooperation인용 수 5

한 줄 요약

이 논문은 외부 신호를 통해 적대적 순차 게임에서 팀원들이 사전에 협력 전략을 학습할 수 있도록 하는 다중 에이gent 딥 강화 학습 프레임워크인 소프트 팀 액터-크리틱(STAC)을 제안한다. 이는 도메인 지식이나 명시적 게임트리 표현 없이도 near-optimal한 협력 전략을 학습할 수 있도록 한다. STAC는 의미 없는 신호에 대해 팀원들이 공통된 의미를 암묵적으로 학습함으로써 협력 전략을 수립할 수 있게 하여, 이전의 딥 RL 방법이 실패하는 완전 관측 및 부분 관측 게임 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

Many real-world applications involve teams of agents that have to coordinate their actions to reach a common goal against potential adversaries. This paper focuses on zero-sum games where a team of players faces an opponent, as is the case, for example, in Bridge, collusion in poker, and collusion in bidding. The possibility for the team members to communicate before gameplay---that is, coordinate their strategies ex ante---makes the use of behavioral strategies unsatisfactory. We introduce Soft Team Actor-Critic (STAC) as a solution to the team's coordination problem that does not require any prior domain knowledge. STAC allows team members to effectively exploit ex ante communication via exogenous signals that are shared among the team. STAC reaches near-optimal coordinated strategies both in perfectly observable and partially observable games, where previous deep RL algorithms fail to reach optimal coordinated behaviors.

연구 동기 및 목표

• 플레이 중에는 통신이 불가능하지만 사전에 협력 전략을 수립할 수 있는 다중 에이전트 적대적 순차 게임에서 팀의 협력을 해결하고자 한다.
• 명시적 게임트리 표현이나 도메인 특화 추상화 없이도, 확장 가능한 모델-프리 딥 강화 학습 방법을 개발하여 협력 전략을 학습하고자 한다.
• 이력 기반 협력 전략이 실패하는 부분 관측 환경에서, 체계적인 외부 신호 전략을 도입하여 효과적인 협력을 가능하게 하고자 한다.
• 팀원들이 초기에는 정보가 없는 신호에 대해 공통된 의미를 학습하여 최적 또는 near-optimal한 팀 행동을 달성할 수 있음을 보여주고자 한다.
• 기존의 딥 RL 알고리즘보다 협력 과제에서 성능을 뛰어넘고자 하며, 특히 이전 방법이 협력 행동을 달성하지 못하는 비완전 정보 설정에서 성능을 높이고자 한다.

제안 방법

• STAC는 중앙집중적 훈련, 분산 실행 프레임워크를 사용하며, 각 에피소드 시작 시 공통된 상관 장치(외부 신호)가 샘플링된다.
• 정책 및 가치 네트워크는 하이퍼네트워크를 통해 외부 신호에 조건화되어, 신호 기반 행동 학습이 가능해진다.
• 알고리즘은 소프트 액터-크리틱(SAC)을 확장하여, 팀원들이 신호와 협력 행동 간 의미 있는 연관성을 학습하도록 상호정보 정규화를 도입한다.
• 정책은 명시적 게임트리 표현이나 사전 도메인 지식 없이도 원시 경험에서 종합적으로 훈련된다.
• 이 방법은 완전 관측 및 부분 관측 환경을 모두 지원하며, 정책 조건화 기반의 신호를 통해 협력 전략이 자동으로 유도된다.
• 공통된 신호를 상관 장치로 활용함으로써, 팀 최적의 상관 균형(TMECor)을 암묵적으로 학습하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 도메인 지식이나 명시적 게임트리 표현 없이도 다중 에이전트 딥 강화 학습이 적대적 순차 게임에서 효과적인 협력을 학습할 수 있는가?
• RQ2 초기에는 정보가 없는 외부 신호를 사용하여 팀원들이 공통된 의미를 학습하고 협력 행동을 달성할 수 있는가?
• RQ3 제안된 신호 전략 프레임워크가 부분 관측 환경에서 이력 기반 협력 전략보다 우월한가?
• RQ4 STAC는 이전의 딥 RL 방법이 실패하는 완전 관측 및 부분 관측 게임 모두에서 near-optimal한 성능을 달성할 수 있는가?
• RQ5 큰 또는 복잡한 게임에서 팀의 협력 전략이 최적의 팀 최적 상관 균형(TMECor)에 얼마나 가까이 근접할 수 있는가?

주요 결과

• STAC는 이전의 딥 RL 알고리즘이 협력을 달성하지 못하는 완전 관측 및 부분 관측 게임 모두에서 near-optimal한 협력 전략을 성공적으로 학습하였다.
• 부분 관측 협력 게임에서 STAC는 특정 행동을 서로 다른 외부 신호와 연관지켜 최적의 행동을 달성하였으며, 이는 이력 전용 기반 베이스라인보다 뛰어난 성능을 보였다.
• 신호 수를 3개로 늘였을 때, 팀원들은 신호 관측에 기반해 보다 높은 보상의 종료 상태로 협력 전략을 수립하였으며, 이는 이론적 TMECor와 일치하였다.
• 완전 관측 게임인 레duc 포커에서 STAC는 강력한 협력을 달성하였고, 신호 전략을 추가함으로써 이력 전용 조건화보다 성능이 향상되었다.
• 이 방법은 초기에는 정보가 없는 신호에 대해 팀원들이 암묵적으로 공통된 의미를 학습할 수 있음을 보여주었으며, 사전 통신 프로토콜 없이도 효과적인 협력을 가능하게 하였다.
• 명시적 게임트리 표현이나 도메인 특화 추상화 없이도 표준 벤치마크에서 경쟁 가능한 성능을 달성하였으며, 확장성과 일반화 능력을 입증하였다.