[논문 리뷰] Deep Coordination Graphs

Wendelin Böhmer, Vitaly Kurin외 1명|arXiv (Cornell University)|2019. 09. 27.

Graph Theory and Algorithms참고 문헌 50인용 수 42

한 줄 요약

DCG는 공유 매개변수와 저랭크 보상으로 협력 제어 그래프를 통해 결합 가치 함수를 분해하는 심층 강화학습 접근법을 도입하여 다에이전트 태스크에서 확장 가능하고 엔드-투-엔드 Q-학습을 가능하게 한다.

ABSTRACT

This paper introduces the deep coordination graph (DCG) for collaborative multi-agent reinforcement learning. DCG strikes a flexible trade-off between representational capacity and generalization by factoring the joint value function of all agents according to a coordination graph into payoffs between pairs of agents. The value can be maximized by local message passing along the graph, which allows training of the value function end-to-end with Q-learning. Payoff functions are approximated with deep neural networks that employ parameter sharing and low-rank approximations to significantly improve sample efficiency. We show that DCG can solve predator-prey tasks that highlight the relative overgeneralization pathology, as well as challenging StarCraft II micromanagement tasks.

연구 동기 및 목표

• 협력적 MARL을 촉진하고 조인트 액션 공간의 기하급수적 증가 문제를 다룬다.
• 공동 Q-값을 쌍별 보상과 에이전트 유틸리티로 분해하는 심층 협력 그래프(DCG)를 제안한다.
• 로컬 정보를 사용하고 보상 함수 전반에 걸쳐 매개변수를 공유하여 확장 가능한 학습을 가능하게 한다.
• 대형 액션 공간을 효율적으로 다루기 위해 저랭크 근사를 포함한다.
• 분산 실행이 가능한 중앙집중식 학습과 학습 중 잠재적 특권 정보의 가능성을 모두 탐색한다.]
• method:[
• Q-값을 쌍별 보상 f^ij와 에이전트별 유틸리티 f^i를 갖는 협력 그래프로 표현한다.
• 에이전트의 이력에 조건화된 공통 순환 네트워크를 통해 모든 보상 함수와 유틸리티 함수에 걸쳐 매개변수를 공유한다.
• 보상 행렬 f^ij의 저랭크 분해를 사용하여 출력을 2KA로 축소한다(K는 랭크, A는 액션 수).
• 그래프 토폴로지에 따라 로컬 그리디 행동을 최대화하기 위해 메시지 전달(max-plus/Belief propagation)을 적용한다.
• 학습 중에 전역 상태 정보를 위해 (DCG-S)로서 v^φ(s)라는 특권 바이어스를 선택적으로 추가한다.
• 토폴로지 전이 허용을 위해 f^ij와 f^ji를 평균화하여 순서 불변 보상으로 확장한다.

제안 방법

• Q-값을 쌍별 보상 f^ij와 에이전트별 유틸리티 f^i를 갖는 협력 그래프로 표현한다.
• 에이전트의 이력에 조건화된 공통 순환 네트워크를 통해 모든 보상 함수와 유틸리티 함수에 걸쳐 매개변수를 공유한다.
• 보상 행렬 f^ij의 저랭크 분해를 사용하여 출력을 2KA로 축소한다(K는 랭크, A는 액션 수).
• 그래프 토폴로지에 따라 로컬 그리디 행동을 최대화하기 위해 메시지 전달(max-plus/Belief propagation)을 적용한다.
• 학습 중에 전역 상태 정보를 위해 (DCG-S)로서 v^φ(s)라는 특권 바이어스를 선택적으로 추가한다.
• 토폴로지 전이 허용을 위해 f^ij와 f^ji를 평균화하여 순서 불변 보상으로 확장한다.

실험 결과

연구 질문

• RQ1 협력 그래프에 대한 factorized Q-함수가 완전히 분산된 기준점보다 조정된 행동을 더 잘 포착할 수 있는가?
• RQ2 매개변수 공유와 저랭크 보상 근사가 대형 MARL 환경에서 샘플 효율성을 향상시키는가?
• RQ3 다양한 그래프 토폴로지(완전 연결, 순환, 선형, 스타형)가 학습 신뢰도와 성능에 어떤 영향을 미치는가?
• RQ4 DCG가 QMIX, VDN, QTRAN, IQL과 같은 최첨단 방법을 복잡한 작업에서 능가할 수 있는가?
• RQ5 특권 학습 정보를 도입하는 것이 성능을 향상시키는가(DCG-S)?

주요 결과

• DCG는 도전적인 포식자-피식자 및 StarCraft II 마이크로매니지먼트 작업에서 기본 MARL 방법을 능가한다.
• 완전 연결된 DCG는 비협조적 행동에 대해 강한 처벌을 통해 태스크를 안정적으로 해결하는 반면, 비공유 또는 토폴로지가 제한된 DCG는 분산이 더 크거나 실패하는 것으로 나타난다.
• 저랭크 보상 근사는 성능의 큰 손실 없이 샘플 효율성을 크게 향상시킨다.
• DCG는 특정 설정, 특히 협조 탐색 하에서 VDN, QMIX, IQL, 심지어 QTRAN보다 공동 행동 값을 더 잘 표현할 수 있다.
• 그래프 토폴로지는 신뢰성에 강하게 영향을 미치며, 완전 연결 그래프가 가장 잘 작동하고, 희소한 토폴로지는 시드 간 편차가 더 크다.