[논문 리뷰] DFAC Framework: Factorizing the Value Function via Quantile Mixture for Multi-Agent Distributional Q-Learning

Wei-Fang Sun, Cheng‐Kuang Lee외 1명|arXiv (Cornell University)|2021. 02. 16.

Reinforcement Learning in Robotics참고 문헌 27인용 수 9

한 줄 요약

이 논문은 분포형 강화학습으로의 확장을 위해 가치 함수 분해 기법을 확장하는 DFAC 프레임워크를 제안한다. 이는 분位수 혼합과 평균-형태 분해를 통해 수익의 분포를 모델링함으로써, 개별-전체 최대(IGM) 성질을 유지하면서도 분포형 가치 함수 분해를 가능하게 한다. 이는 슈퍼 하드 스타크래프트 II 다중 에이전트 챌린지 맵 전반에서 기대값 기반 기준선보다 뛰어난 성능을 발휘한다.

ABSTRACT

In fully cooperative multi-agent reinforcement learning (MARL) settings, the environments are highly stochastic due to the partial observability of each agent and the continuously changing policies of the other agents. To address the above issues, we integrate distributional RL and value function factorization methods by proposing a Distributional Value Function Factorization (DFAC) framework to generalize expected value function factorization methods to their DFAC variants. DFAC extends the individual utility functions from deterministic variables to random variables, and models the quantile function of the total return as a quantile mixture. To validate DFAC, we demonstrate DFAC's ability to factorize a simple two-step matrix game with stochastic rewards and perform experiments on all Super Hard tasks of StarCraft Multi-Agent Challenge, showing that DFAC is able to outperform expected value function factorization baselines.

연구 동기 및 목표

• 스토케스틱하고 부분관측 가능한 다중 에이전트 환경에서 기대값 가치 함수 분해의 한계를 해결하기 위해.
• 협동적 다중 에이전트 강화학습에서 분포형 강화학습과 가치 함수 분해 간 격차를 메우기 위해.
• 안정적이고 효과적인 분리된 실행을 위해 분포형 환경에서도 개별-전체 최대(IGM) 성질을 유지하기 위해.
• 공동 수익 분포를 개별 유용성 분포로 분해하는 계산적으로 효율적인 방법을 개발하기 위해.

제안 방법

• 평균-형태 분해를 도입하여 기대값 가치 함수 분해를 분포형 설정으로 일반화하면서도 IGM 조건을 유지한다.
• 분위수 혼합을 사용하여 총 수익 분포를 개별 에이전트의 유용성 분포 조합으로 표현한다.
• 분위수 회귀와 암시적 분위수 네트워크를 활용하여 개별 유용성의 분위수 함수를 효율적으로 근사한다.
• 실험에서 학습 곡선의 안정성을 높이기 위해 이동 평균 스무딩 필터를 적용한다.
• 독립 Q-학습(IQL)과 가치 분해 방법(VDN, QMIX)을 각각 분포형 변형(DIQL, DDN, DMIX)으로 확장하여 분석 및 비교한다.
• 스타크래프트 다중 에이전트 챌린지(SMAC)의 두 단계 매트릭스 게임과 모든 슈퍼 하드 맵에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 스토케스틱 보상과 부분관측이 존재하는 협동적 다중 에이전트 환경에서 분포형 가치 함수 분해를 효과적으로 적용할 수 있는가?
• RQ2 가치 함수 분해를 분포형 수익으로 일반화할 때 개별-전체 최대(IGM) 성질을 어떻게 유지할 수 있는가?
• RQ3 분위수 혼합을 통한 수익 분포 모델링이 MARL에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 DFAC 기반 변종은 도전적인 SMAC 맵에서 기대값 대비 성능 측정치(승리률 및 누적 점수) 측면에서 어떻게 비교되는가?

주요 결과

• DFAC 기반 방법, 특히 DDN과 DMIX는 스타크래프트 다중 에이전트 챌린지의 모든 슈퍼 하드 맵에서 그 기대값 대비 기준선(VDN, QMIX)을 능가한다.
• 가장 어려운 맵인 6h_vs_8z에서 유일하게 DDN과 DMIX만 효과적인 정책을 학습하는 데 성공했으며, 기준선은 실패한다.
• 모든 슈퍼 하드 맵에서 분포형 변종(DDN, DMIX)은 기대값 대비 기준선보다 더 높은 최종 승리률과 더 나은 평균 점수를 기록한다.
• DIQL, 즉 IQL의 분포형 변종은 이미 표준 IQL을 능가하며, 분해 없이도 분포형 학습의 이점이 MARL에서 유효함을 입증한다.
• 분위수 혼합 접근법은 공동 수익 분포를 개별 유용성 분포로 효율적이고 안정적으로 분해할 수 있도록 한다.
• 간단한 구조임에도 불구하고 DDN은 뛰어난 성능을 보이며, 이는 분포형 분해가 복잡한 MARL 환경에서 데이터 효율성과 강인성을 향상시킨다는 것을 시사한다.