[논문 리뷰] ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency

Chuming Li, Jie Liu외 6명|arXiv (Cornell University)|2022. 11. 29.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 협동적 다중 에이전트 강화학습(MARL)에서 비정적 문제(non-stationarity problem)를 이중 방향 동작 의존성(bidirectional action-dependency)을 통해 해결하는 ACE라는 알고리즘을 제안한다. 이는 순차적 결정을 통해 다중 에이전트 MDP를 단일 에이전트 MDP로 변환함으로써 성능을 향상시킨다. ACE는 SMAC에서 거의 모든 하드 및 슈퍼 하드 지도에서 100% 승리 비율을 달성하며, GRF 및 SMAC 벤치마크에서 샘플 효율성과 누적 수익 측면에서 이전 방법들을 크게 능가한다.

ABSTRACT

Multi-agent reinforcement learning (MARL) suffers from the non-stationarity problem, which is the ever-changing targets at every iteration when multiple agents update their policies at the same time. Starting from first principle, in this paper, we manage to solve the non-stationarity problem by proposing bidirectional action-dependent Q-learning (ACE). Central to the development of ACE is the sequential decision-making process wherein only one agent is allowed to take action at one time. Within this process, each agent maximizes its value function given the actions taken by the preceding agents at the inference stage. In the learning phase, each agent minimizes the TD error that is dependent on how the subsequent agents have reacted to their chosen action. Given the design of bidirectional dependency, ACE effectively turns a multiagent MDP into a single-agent MDP. We implement the ACE framework by identifying the proper network representation to formulate the action dependency, so that the sequential decision process is computed implicitly in one forward pass. To validate ACE, we compare it with strong baselines on two MARL benchmarks. Empirical experiments demonstrate that ACE outperforms the state-of-the-art algorithms on Google Research Football and StarCraft Multi-Agent Challenge by a large margin. In particular, on SMAC tasks, ACE achieves 100% success rate on almost all the hard and super-hard maps. We further study extensive research problems regarding ACE, including extension, generalization, and practicability. Code is made available to facilitate further research.

연구 동기 및 목표

• 에이전트 정책의 변화가 가치 함수 학습을 방해하는 협동적 다중 에이전트 강화학습(MARL)에서의 비정적 문제(non-stationarity problem)를 해결하기 위해.
• 공동 행동 공간의 복잡성과 정책 공진화에도 불구하고 개별 행동 가치의 정확한 추정을 가능하게 하는 방법을 개발하기 위해.
• 이중 방향 의존성과 함께 순차적 결정을 통해 협동적 다중 에이전트 MDP를 단일 에이전트 MDP로 변환하기 위해.
• Google Research Football 및 StarCraft Multi-Agent Challenge와 같은 MARL 벤치마크에서 샘플 효율성, 수렴성, 일반화 능력을 향상시키기 위해.
• CTDE 프레임워크와의 통합을 통해 실용적 구현을 가능하게 하고 분산 실행을 지원하기 위해.

제안 방법

• 에이전트가 순차적으로 행동하는 순차적으로 확장된 MDP(SE-MDP)를 제안하며, 이는 이전 행동 기반 상태 확장을 통해 MMDP를 단일 에이전트 MDP로 효과적으로 변환한다.
• 이중 방향 동작 의존성 도입: 전방 의존성(가치가 이전 행동에 의존)과 후방 의존성(타겟이 후속 에이전트 반응에 의존).
• SE-상태는 유닛 임베딩과 행동 임베딩의 덧셈 조합으로 표현되어, 한 번의 순방향 전파로 모든 중간 상태를 효율적으로 계산할 수 있다.
• 에이전트 간 상호작용을 모델링하기 위해 상호작용 인식 행동 임베딩(interaction-aware action embedding)을 도입하여 가치 추정 및 정책 성능을 향상시킨다.
• 표준 Q-학습 및 액터-크리틱 프레임워크(예: PPO)와의 호환성을 확보하기 위해, 공동 행동 가치를 개별 가치 함수로 변환하는 디스틸레이션 기법을 사용한다.
• ACE-CTDE에서는 대체적 디스틸레이션 기법을 사용하여 공동 행동 지식을 분산 실행 가능한 개별 정책으로 전이함으로써 IGM 성질을 유지한다.

실험 결과

연구 질문

• RQ1 이중 방향 동작 의존성이 다중 에이전트 MDP를 단일 에이전트 MDP로 변환함으로써 협동적 MARL에서 비정적 문제를 효과적으로 해결할 수 있는가?
• RQ2 복잡한 벤치마크에서 QMIX 및 MAPPO와 같은 최신 기법들과 비교해 ACE의 성능 및 샘플 효율성은 어떠한가?
• RQ3 고정된 구성에서 훈련된 후, ACE는 에이전트 수가 다른 새로운 작업으로 얼마나 잘 일반화되는가?
• RQ4 순차적 과정에서 에이전트 결정 순서에 대해 ACE는 얼마나 강인한가?
• RQ5 ACE는 CTDE 철학에 효과적으로 적응할 수 있으며, 분산 실행 조건에서도 높은 성능을 유지할 수 있는가?

주요 결과

• ACE는 StarCraft Multi-Agent Challenge(SMAC)의 거의 모든 하드 및 슈퍼 하드 지도에서 100% 승리 비율을 달성하며, 기존 방법들을 크게 능가한다.
• Google Research Football에서 ACE는 우수한 누적 수익을 기록하며, 최신 기법 대비 샘플 효율성을 최대 500% 향상시켰다.
• ACE는 강력한 일반화 능력을 보이며, 미세조정 없이도 다른 수의 에이전트를 가진 새로운 지도로 이식해도 높은 성능을 유지한다.
• 상호작용 인식 행동 임베딩은 성능 향상에 기여하며, 이를 제거했을 때 성능 저하가 발생함(ACE-w/o-IA vs. ACE)을 통해 이를 입증했다.
• ACE는 에이전트 순서에 대해 강인하며, 셔플된 순서와 정렬된 순서 간 성능 차이가 미미하다.
• ACE-CTDE는 분산 실행 조건에서 전체 ACE와 거의 동일한 성능을 달성하여, 대체적 디스틸레이션 기법이 IGM 성질을 유지하는 데 효과적임을 검증했다.