[논문 리뷰] SHAQ: Incorporating Shapley Value Theory into Multi-Agent Q-Learning

Jianhong Wang, Yuan Zhang외 2명|arXiv (Cornell University)|2021. 05. 31.

Reinforcement Learning in Robotics참고 문헌 45인용 수 9

한 줄 요약

이 논문은 전역 보상 게임을 위한 값 인자화에 셰플리 값 이론을 통합하는 다중 에이전트 강화 학습 알고리즘인 SHAQ를 제안한다. 마르코프 셰플리 값(MSV)과 셰플리-벨만 최적성 방정식(SBOE)을 도입함으로써, 이론적으로 타당한 책임 부여를 보장하며, 협동적 MARL 환경에서 높은 성능과 해석 가능성 모두를 달성한다.

ABSTRACT

Value factorisation is a useful technique for multi-agent reinforcement learning (MARL) in global reward game, however its underlying mechanism is not yet fully understood. This paper studies a theoretical framework for value factorisation with interpretability via Shapley value theory. We generalise Shapley value to Markov convex game called Markov Shapley value (MSV) and apply it as a value factorisation method in global reward game, which is obtained by the equivalence between the two games. Based on the properties of MSV, we derive Shapley-Bellman optimality equation (SBOE) to evaluate the optimal MSV, which corresponds to an optimal joint deterministic policy. Furthermore, we propose Shapley-Bellman operator (SBO) that is proved to solve SBOE. With a stochastic approximation and some transformations, a new MARL algorithm called Shapley Q-learning (SHAQ) is established, the implementation of which is guided by the theoretical results of SBO and MSV. We also discuss the relationship between SHAQ and relevant value factorisation methods. In the experiments, SHAQ exhibits not only superior performances on all tasks but also the interpretability that agrees with the theoretical analysis. The implementation of this paper is on https://github.com/hsvgbkhgbv/shapley-q-learning.

연구 동기 및 목표

• 다중 에이전트 강화 학습(MARL)을 위한 값 인자화 방법에서 이론적 해석 가능성의 부족을 해결하기 위해.
• 마르코프 볼록 게임의 개념을 통해 동적이고 마르코프 성격을 띠는 환경에 대해 협동 게임 이론적 프레임워크를 체계화하기 위해.
• 협동적 MARL에서 셰플리 값을 사용하여 효율성, 대칭성, 무능력 에이전트 식별 가능성을 보장하는 이론적으로 타당한 책임 부여 메커니즘을 도출하기 위해.
• 수렴 가능하고 해석 가능한 분산 실행 능력을 갖춘 새로운 MARL 알고리즘인 셰플리 Q-학습(SHAQ)을 개발하기 위해.
• 제안된 방법이 성능 면에서 최첨단 기준을 초월하면서도 투명하고 이론적으로 탄탄한 책임 부여를 제공함을 검증하기 위해.

제안 방법

• 마르코프 볼록 게임에 대해 셰플리 값의 일반화인 마르코프 셰플리 값(MSV)을 도입하여, 대규모 협력 하에서 핵심 안정성을 보장한다.
• 공동 결정적 정책 하에서 최적의 MSV를 특징짓는 데 사용되는 벨만 방정식의 확장인 셰플리-벨만 최적성 방정식(SBOE)을 유도한다.
• 셰플리-벨만 연산자(SBO)를 제안하고, SBOE로 수렴함을 증명함으로써 최적 값의 안정적 학습을 가능하게 한다.
• SBO의 확률적 근사와 아키텍처 변환 기법을 통해 SBO의 수렴성을 유지하면서도 분산 실행을 가능하게 하는 SHAQ를 개발한다.
• 실제 구현에서 셰플리 값을 근사하기 위해 하이퍼네트워크를 활용한 어텐션 기반 가중치 메커니즘을 구현함으로써 이론적 성질과의 일관성을 확보한다.
• 연합 구조 샘플링 전략을 사용하여 마진 기여도를 추정하고, 안정적인 값 인자화를 위해 주의 가중치를 스케일링하는 단조 증가 함수를 도입한다.

실험 결과

연구 질문

• RQ1 셰플리 값 이론은 동적이고 마르코프 성격을 띠는 협동 게임으로 확장될 수 있는가? 이는 이론적으로 탄탄한 값 인자화 방법을 제공하는가?
• RQ2 제안된 마르코프 셰플리 값(MSV)은 협동적 MARL에서 효율성, 대칭성, 무능력 에이전트 식별 가능성 등의 핵심 공리들을 충족하는가?
• RQ3 셰플리-벨만 최적성 방정식(SBOE)과 관련된 셰플리-벨만 연산자(SBO)를 사용하여 수렴 가능하고 분산 실행이 가능한 MARL 알고리즘을 도출할 수 있는가?
• RQ4 결과적으로 도출된 SHAQ 알고리즘이 전역 보상 게임에서 기존의 값 인자화 방법보다 뛰어난 성능과 해석 가능성 확보를 하는가?
• RQ5 SHAQ의 책임 부여 방식은 이론적으로 타당할 뿐 아니라 실질적인 에이전트 기여도와도 경험적으로 일치하는가?

주요 결과

• SHAQ는 모두 평가된 과제에서 뛰어난 성능을 달성하였으며, 예를 들어 사냥-사냥개 및 다중 에이전트 스타크래프트 벤치마크에서도 최첨단 기준을 초월한다.
• SHAQ의 책임 부여 방식은 해석 가능하며 이론적 성질과 일치한다: 무능력 에이전트를 정확히 식별하고, 효율성을 보장하며, 마진 기여도를 반영한다.
• 셰플리-벨만 연산자(SBO)가 최적의 SBOE로 수렴함을 증명하여 학습 과정의 이론적 안정성과 정확성을 보장한다.
• SBO와 MSV 프레임워크의 이론적 보장 덕분에, 분산 실행 조건에서도 SHAQ는 수렴성과 성능을 유지한다.
• SHAQ에서 어텐션 가중치의 구현은 에이전트 간 가중치의 총합이 항상 1 이하가 되도록 보장하여 값 인자화의 일관성을 유지한다.
• 경험적 결과는 SHAQ의 어텐션 가중치가 실제 에이전트 기여도를 반영하며, 최적의 공동 정책과 일치하는 행동에 더 높은 가중치가 부여됨을 확인한다.