[논문 리뷰] Multi-Agent Determinantal Q-Learning

Yaodong Yang, Ying Wen외 5명|arXiv (Cornell University)|2020. 06. 02.

Reinforcement Learning in Robotics참고 문헌 30인용 수 7

한 줄 요약

이 논문은 공동 작업을 위한 가치 기반 다중 에이전트 강화 학습을 위한 Multi-Agent Determinantal Q-Learning을 제안한다. 이 방법은 구조적 제약 조건 없이 공동 Q함수를 자연스럽게 분해할 수 있도록 결정성 점진 프로세스(DPP) 기반의 확률적 모델인 Q-DPP를 사용한다. 다양한 에이전트 행동을 유도함으로써 Q-DPP는 효과적인 분산 실행을 가능하게 하며, VDN, QMIX, QTRAN을 일반화하여 블록러 게임과 예금자-사냥개 세계와 같은 벤치마크 과제에서 그들을 능가한다.

ABSTRACT

Centralized training with decentralized execution has become an important paradigm in multi-agent learning. Though practical, current methods rely on restrictive assumptions to decompose the centralized value function across agents for execution. In this paper, we eliminate this restriction by proposing multi-agent determinantal Q-learning. Our method is established on Q-DPP, an extension of determinantal point process (DPP) with partition-matroid constraint to multi-agent setting. Q-DPP promotes agents to acquire diverse behavioral models; this allows a natural factorization of the joint Q-functions with no need for \emph{a priori} structural constraints on the value function or special network architectures. We demonstrate that Q-DPP generalizes major solutions including VDN, QMIX, and QTRAN on decentralizable cooperative tasks. To efficiently draw samples from Q-DPP, we adopt an existing sample-by-projection sampler with theoretical approximation guarantee. The sampler also benefits exploration by coordinating agents to cover orthogonal directions in the state space during multi-agent training. We evaluate our algorithm on various cooperative benchmarks; its effectiveness has been demonstrated when compared with the state-of-the-art.

연구 동기 및 목표

• 가치 함수 분해를 위한 제약적인 구조적 가정에 의존하는 현재의 중심집중형 훈련과 분산 실행(CTDE) 방법의 한계를 해결한다.
• 다중 에이전트 가치 기반 CTDE 방법에서의 원리적인 탐색 전략의 부재를 극복한다.
• 훈련 중에 에이전트 간 다양한 행동 모델을 촉진함으로써 공동 Q함수의 자연스러운 분해를 가능하게 한다.
• VDN, QMIX, QTRAN과 같은 기존 방법들을 통합된 프레임워크의 특수한 경우로 일반화한다.
• 훈련 및 탐색을 모두 지원하는 효율적이고 이론적으로 타당한 Q-DPP 샘플러를 개발한다.

제안 방법

• 관측-행동 쌍의 집합을 다수의 에이전트에서 모델링하기 위해 분할-매트로이드 제약 조건을 가진 DPP의 확장인 Q-DPP를 제안한다.
• 품질과 다양성을 동시에 최적화하는 중심집중형 공동 Q함수의 함수 근사기로 Q-DPP를 사용한다.
• DPP의 수학적 성질을 활용해 최적 상태에서 공동 Q함수를 개별 에이전트 Q값으로 자연스럽게 분해할 수 있도록 한다.
• P-DPP(Celis 등, 2018)의 샘플링 기반 투영 기반 선형 시간 샘플러를 도입하며 이론적 근사 보장을 갖춘다.
• 샘플러를 훈련에 통합하여 에이전트들이 상태 공간에서 수직 방향으로 탐색하도록 조율함으로써 탐색 효율성을 향상시킨다.
• 보조 손실 함수를 적용하여 가정 1(고유값 비율에 대한 제약)을 강제로 이행하고 보상 분산을 줄여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 가치 기반 CTDE 방법이 가치 함수에 사전 구조적 제약 조건을 두지 않고도 효과적인 분산 실행을 달성할 수 있는가?
• RQ2 에이전트 행동의 다양성 촉진이 공동 Q함수의 자연스러운 분해를 어떻게 가능하게 하는가?
• RQ3 Q-DPP가 VDN, QMIX, QTRAN과 같은 기존 방법들을 특수한 경우로 일반화할 수 있는가?
• RQ4 제안된 샘플러가 효과적인 가치 함수 근사와 함께 조율된 탐색을 지원하는가?
• RQ5 훈련 과정에서 품질과 다양성의 균형은 어떻게 변화하며, 성능에 어떤 영향을 미치는가?

주요 결과

• Q-DPP는 비단조화적이고 병적인 협동 과제에서 20,000 단계 내에 전역 최적해에 수렴하는 반면, 기준 모델들은 수렴하지 못한다.
• 블록러 게임과 협동 주행 과제에서 Q-DPP는 모든 기준 모델들 중에서 최고의 성능을 기록하며, 부분 관측 조건 하에서도 뛰어난 협동 능력을 보여준다.
• 예금자-사냥개 세계에서 Q-DPP는 모든 기준 모델을 능가하며, 효과적인 다중 에이전트 협동 덕분에 더 높은 누적 보상을 달성한다.
• 제거 실험 결과, 보조 손실을 통해 가정 1을 강제 적용함으로써 훈련 분산이 감소하고 학습이 안정화되지만, 최종 성능 향상은 크지 않다.
• 실험 결과에 따르면 Q-DPP의 다양성 항은 시간이 지남에 따라 점차 영향력이 줄어들며, 이는 예상과 같이 초기에는 탐색이 우선시되고 후기에는 이용이 지배적임을 시사한다.
• 정책의 시각화 결과 Q-DPP가 상호 수직적인 행동 모델을 학습하는 것으로 확인되어, 개별 최적화가 공동 최적화로 이어지는 메커니즘을 검증한다.