[논문 리뷰] QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning

Kyunghwan Son, Dae Woo Kim외 3명|arXiv (Cornell University)|2019. 05. 14.

Reinforcement Learning in Robotics인용 수 222

한 줄 요약

QTRAN은 joint action-value 함수에 대한 변환 기반 인수 분해를 도입하여 additivity(가법성)와 monotonicity(단조성) 제약을 제거하고, 더 넓은 범주의 협력형 MARL 문제에서 올바른 인수 분해를 가능하게 하며 비단조 환경에서 VDN/QMIX를 능가합니다.

ABSTRACT

We explore value-based solutions for multi-agent reinforcement learning (MARL) tasks in the centralized training with decentralized execution (CTDE) regime popularized recently. However, VDN and QMIX are representative examples that use the idea of factorization of the joint action-value function into individual ones for decentralized execution. VDN and QMIX address only a fraction of factorizable MARL tasks due to their structural constraint in factorization such as additivity and monotonicity. In this paper, we propose a new factorization method for MARL, QTRAN, which is free from such structural constraints and takes on a new approach to transforming the original joint action-value function into an easily factorizable one, with the same optimal actions. QTRAN guarantees more general factorization than VDN or QMIX, thus covering a much wider class of MARL tasks than does previous methods. Our experiments for the tasks of multi-domain Gaussian-squeeze and modified predator-prey demonstrate QTRAN's superior performance with especially larger margins in games whose payoffs penalize non-cooperative behavior more aggressively.

연구 동기 및 목표

• CTDE 아래의 협력적 MARL에서 가법적이고 단조로운 가치 인수 분해의 한계에 동기를 부여하고 이를 해결한다.
• 최적의 행동을 보존하면서 독립적인 Q-값 인수 분해를 가능하게 하는 변환 기반 인수 분해를 제안한다.
• 상태-가치 보정 항을 갖는 QTRAN 아키텍처(base 및 alt 변형)를 설계하고 평가한다.
• 비단조적이고 다도메인 MARL 환경에서 QTRAN의 우수성을 VDN 및 QMIX보다 입증한다.

제안 방법

• QTRAN을 세 네트워크 아키텍처로 정의한다: 개별 Q_i 네트워크, 인수 분해될 결합 Q_jt 네트워크, 그리고 상태-가치 V_jt 네트워크.
• 변환된 조인트 액션 값으로 Q_jt'를 도입하고, Q_i의 합으로 정의한다: Q_jt' = sum_i Q_i(τ_i, u_i).
• V_jt 보정을 통해 Q_jt'의 인수 분해가 Q_jt의 최적 행동과 일치하도록 하는 충분하고 (강한) 필요조건(Eq. 4a, 4b)을 도출한다.
• L = L_td + λ_opt L_opt + λ_nopt L_nopt 의 결합 손실로 학습하며, L_td는 Q_jt를 맞추고, L_opt/L_nopt가 인수 분해 제약을 강제한다.
• QTRAN-base 및 QTRAN-alt 변형을 제시하며, 비최적 행동 처리 방식과 안정성/수렴 특성에서 차이를 보인다.
• 카운터팩추얼(counterfactual) 변형(QTRAN-alt)을 구현하여 최소한의 순전파로도 행동을 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 QTRAN이 VDN/QMIX의 additivity/monotonicity 제약 없이 인수 분해 가능한 조인트 액션-값 함수로 분해할 수 있는가?
• RQ2 Q_jt를 Q_jt'로 변환하고 상태 가치 보정을 추가하는 것이 최적의 조인트 행동을 보존하고 CTDE 하에서 정확한 인수 분해를 가능하게 하는가?
• RQ3 QTRAN-base와 QTRAN-alt가 기존 방법들에 비해 비단조 MARL 과제에서 학습 안정성 및 샘플 효율을 향상시키는가?
• RQ4 Gaussian Squeeze 및 수정된 포식자-피식자와 같은 비단조적이고 다도메인 환경에서 QTRAN 변형의 성능은 어떠한가?

주요 결과

• QTRAN은 더 이상 가법성이나 단조성 제약에 국한되지 않고, 로컬 Q_i 최적화만으로도 올바른 조인트 액션 선택을 달성할 수 있다.
• 간단한 매트릭스 게임에서 QTRAN은 조인트 최적 행동을 찾는 반면 VDN 및 QMIX는 구조적 제약으로 실패한다.
• 비단조적 환경(다도메인 Gaussian Squeeze 및 수정된 포식자-피식자)에서 QTRAN은 협력적이지 않은 페널티가 커질수록 더 큰 여백으로 우수한 성능을 보인다.
• QTRAN-alt는 최적 및 비최적 변형 간의 간격을 확장하여 안정성과 샘플 효율성을 높이고 더 나은 탐색을 돕는다.
• 제시된 모든 설정에서 QTRAN 변형은 VDN 및 QMIX보다 성능이 우수하며, 특히 과제의 비단조성 및 에이전트 수가 증가함에 따라 그 차이가 커진다.