[논문 리뷰] Q-value Path Decomposition for Deep Multiagent Reinforcement Learning

Yaodong Yang, Jianye Hao외 6명|arXiv (Cornell University)|2020. 02. 10.

Reinforcement Learning in Robotics참고 문헌 20인용 수 26

한 줄 요약

이 논문은 통합 기울기(gradient)를 사용하여 궤적 경로를 따라 전역 Q값을 개별 에이전트 기여도로 분해하는 새로운 방법인 Q값 경로 분해(QPD)를 제안한다. 이는 협동적 딥 다중에이전트 강화학습(MARL)에서 다중에이전트 신용 할당 문제를 해결하기 위한 것이다. QPD는 3s5z 및 3s5z_vs_3s6z와 같이 복잡하고 이질적인 환경에서 기존 방법이 실패하는 과제들에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, deep multiagent reinforcement learning (MARL) has become a highly active research area as many real-world problems can be inherently viewed as multiagent systems. A particularly interesting and widely applicable class of problems is the partially observable cooperative multiagent setting, in which a team of agents learns to coordinate their behaviors conditioning on their private observations and commonly shared global reward signals. One natural solution is to resort to the centralized training and decentralized execution paradigm. During centralized training, one key challenge is the multiagent credit assignment: how to allocate the global rewards for individual agent policies for better coordination towards maximizing system-level's benefits. In this paper, we propose a new method called Q-value Path Decomposition (QPD) to decompose the system's global Q-values into individual agents' Q-values. Unlike previous works which restrict the representation relation of the individual Q-values and the global one, we leverage the integrated gradient attribution technique into deep MARL to directly decompose global Q-values along trajectory paths to assign credits for agents. We evaluate QPD on the challenging StarCraft II micromanagement tasks and show that QPD achieves the state-of-the-art performance in both homogeneous and heterogeneous multiagent scenarios compared with existing cooperative MARL algorithms.

연구 동기 및 목표

• 협동적 딥 다중에이전트 강화학습(MARL)에서 전역 보상이 효과적인 협업을 위해 개별 에이전트에 공정하게 할당되어야 하는 다중에이전트 신용 할당 문제를 해결한다.
• 기존의 가치 분해 방법(VDN, QMIX, QTRAN 등)이 전역 Q값과 개별 Q값 간의 관계에 대해 제한적인 기능 형태나 가정을 요구하는 한계를 극복한다.
• 정확하고 자동으로 유도된 개별 Q값 감독 신호를 제공함으로써, 부분 관측 가능한 협동 다중에이전트 시스템에서 중심집중적 훈련과 분산 실행을 효과적으로 가능하게 한다.
• 기존 방법이 실패하거나 어려움을 겪는 복잡하고 이질적인 다중에이전트 환경에서 학습 안정성과 성능을 향상시킨다.

제안 방법

• 딥러닝에서의 통합 기울기 기여도를 활용하여 궤적 경로를 따라 각 에이전트의 상태-행동 쌍이 전역 Q값에 기여하는 정도를 계산한다.
• 중앙집중적 훈련 중에 통합 기울기 기반 기여도를 개별 에이전트의 Q값 감독 신호로 사용한다.
• 경로 적분 방법을 적용하여 기준점(영입력)과 실제 입력 사이를 선형으로 보간함으로써 기여도를 계산한다.
• 에이전트 특수화된 특징을 연결하여 이종 에이전트 표현을 유지하고 가치 함수 추정을 향상시키기 위한 다중채널 크리틱을 설계한다.
• 고차원의 공동 상태-행동 특징를 처리하고 훈련 안정성을 향상시키기 위해 중앙집중적 크리틱에서 모듈러 네트워크 구조를 사용한다.
• 분해된 Q값을 타깃으로 사용하여 개별 Q값 네트워크를 훈련시켜, 조율된 행동을 보이는 분산 실행 정책을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 가치 분해 기법에 비해 통합 기울기가 전역 Q값을 개별 에이전트 기여도로 분해하는 데 더 정확하고 일반적인 방법을 제공할 수 있는가?
• RQ2 복잡한 다중에이전트 환경에서 QPD의 성능과 훈련 안정성에 영향을 주는 분해 단계 수의 영향은 어떠한가?
• RQ3 기존 방법이 실패하는 이질적이고 매우 복잡한 환경에서 QPD는 향상된 협동 정책을 학습할 수 있는가?
• RQ4 에이전트 특수화된 특징의 연결을 포함한 다중채널 크리틱의 사용이 이질적 다중에이전트 환경에서 표현 능력과 성능을 향상시키는가?
• RQ5 승리율과 정책 협업 품질 측면에서 QMIX 및 QTRAN과 같은 최신 기술 수준의 MARL 알고리즘에 비해 QPD는 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• QPD는 테스트된 모든 스타크래프트 II 미크로매니지먼트 지도에서 최신 기술 수준의 성능을 달성하였으며, 기존 방법이 실패하는 매우 도전적인 3s5z 및 3s5z_vs_3s6z 시나리오에서도 성능을 발휘했다.
• 3s5z에서 QPD는 매우 조율된 정책을 학습하였다—지질러스가 적의 지질러스를 둘러싸서 스토커스를 먼저 공격한다—이는 QMIX가 그러한 복잡한 협업을 학습하지 못한 반면 QPD가 가능하게 했다.
• 3s5z_vs_3s6z에서 QPD는 유일하게 승리 정책을 학습한 방법이었으며, 적의 유닛을 격퇴하면서도 적의 스토커스를 공격하기 위해 지질러스를 효과적으로 조율했다.
• 제거 실험 결과, 분해 단계 수가 5일 경우 10 및 25일 경우와 유사한 성능를 기록하여, QPD가 정확한 기여도 유도를 위해 높은 계산 비용이 필요하지 않음을 시사한다.
• 에이전트 특수화된 특징의 연결을 포함한 다중채널 크리틱은 성능을 약간 향상시켰으며, 이는 에이전트 특수화된 특징 표현을 유지하는 것이 가치 함수 학습에 도움이 된다는 것을 보여준다.
• QPD는 복잡하고 이질적인 환경에서도 안정적이고 경쟁적인 성능을 보였으며, 동종 및 이종 다중에이전트 시나리오에서 QMIX 및 QTRAN을 모두 초월하는 성능을 발휘했다.