[논문 리뷰] V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL

Chi Jin, Qinghua Liu외 2명|arXiv (Cornell University)|2021. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 52인용 수 11

한 줄 요약

이 논문은 다중 에이전트 시스템을 위한 새로운 분산형 강화학습 알고리즘인 V-러닝을 소개한다. 이 알고리즘은 Q-값 대신 V-값만 유지함으로써 증명 가능한 효율성 있는 학습을 달성한다. 이는 샘플 복잡도가 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$로 스케일링되며, 여기서 $A = \max_i A_i$이며, 다중 에이전트의 곱셈적 행동 공간 증가 문제를 해결한다.

ABSTRACT

A major challenge of multiagent reinforcement learning (MARL) is the curse of multiagents, where the size of the joint action space scales exponentially with the number of agents. This remains to be a bottleneck for designing efficient MARL algorithms even in a basic scenario with finitely many states and actions. This paper resolves this challenge for the model of episodic Markov games. We design a new class of fully decentralized algorithms -- V-learning, which provably learns Nash equilibria (in the two-player zero-sum setting), correlated equilibria and coarse correlated equilibria (in the multiplayer general-sum setting) in a number of samples that only scales with $\max_{i\in[m]} A_i$, where $A_i$ is the number of actions for the $i^{ m th}$ player. This is in sharp contrast to the size of the joint action space which is $\prod_{i=1}^m A_i$. V-learning (in its basic form) is a new class of single-agent RL algorithms that convert any adversarial bandit algorithm with suitable regret guarantees into a RL algorithm. Similar to the classical Q-learning algorithm, it performs incremental updates to the value functions. Different from Q-learning, it only maintains the estimates of V-values instead of Q-values. This key difference allows V-learning to achieve the claimed guarantees in the MARL setting by simply letting all agents run V-learning independently.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 에이전트 수에 비례해 기하급수적으로 증가하는 연합 행동 공간 문제를 해결한다.
• 중앙집중적 조율이나 통신 없이도 완전히 분산된 MARL 알고리즘을 설계한다.
• 일般합 및 제로섬 마르코프 게임에서 균형을 학습하는 데 대해 증명 가능한 효율적인 샘플 복잡도를 달성한다.
• 기존의 중앙집중형 MARL 알고리즘의 한계를 극복하며, 연합 행동 공간 크기에 따라 성능이 급격히 떨어지는 문제를 해결한다.
• 대칭적 밴딧 알고리즘을 V-값 업데이트를 통해 효율적인 강화학습 알고리즘으로 변환하는 통합 프레임워크를 제공한다.

제안 방법

• Q-값을 유지하지 않는 값 기반 업데이트 규칙을 사용하는 단일 에이전트 강화학습 알고리즘인 V-러닝을 제안한다.
• 부선형 복잡도를 갖는 임의의 대칭적 밴딧 알고리즘을 서브루틴으로 활용하여 V-러닝의 정책 업데이트를 이끌어낸다.
• 학습 과정을 V-값 추정과 가중치가 부여된 복잡도 최소화를 통한 정책 업데이트로 분해한다.
• 가중치가 부여된 복잡도 분해를 통해 각 에이전트의 스왑 복잡도를 제한함으로써, 관련 균형 및 코arse 관련 균형으로의 수렴을 가능하게 한다.
• 각 에이전트가 로컬 관측값(행동 및 보상)만을 사용하여 독립적으로 V-러닝을 실행함으로써 분산성을 확보한다.
• 아즈마-후이딩 및 농도 불등식과 같은 이론적 도구를 활용하여 복잡도와 수렴에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템에서 연합 행동 공간의 기하급수적 증가 문제를 피할 수 있는 분산형 MARL 알고리즘을 설계할 수 있는가?
• RQ2 Q-값 대신 V-값만 유지함으로써, 일반합 및 제로섬 마르코프 게임에서 증명 가능한 효율성 있는 학습이 가능한가?
• RQ3 V-러닝은 개별 행동 공간의 곱에 의존하지 않는 샘플 복잡도로 나시, 관련, 코어스 관련 균형으로 수렴할 수 있는가?
• RQ4 부선형 복잡도를 갖는 임의의 대칭적 밴딧 알고리즘을 V-러닝을 통해 샘플 효율적인 강화학습 알고리즘으로 변환할 수 있는가?
• RQ5 V-러닝은 완전히 분산형이면서도 대규모 다중 에이전트 시스템에 대해 확장 가능하며, 거의 최적의 샘플 복잡도를 달성할 수 있는가?

주요 결과

• V-러닝은 두 명의 플레이어로 구성된 제로섬 마르코프 게임에서 나시 균형을 학습하는 데 샘플 복잡도 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$를 달성한다. 여기서 $A = \max_i A_i$이다.
• 다수 플레이어로 구성된 일반합 마르코프 게임에서는 V-러닝이 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$ 에피소드 내에 코어스 관련 균형을 찾는다.
• 다수 플레이어로 구성된 일반합 게임에서는 V-러닝이 샘플 복잡도 $\tilde{\mathcal{O}}(H^5 S A^2 / \epsilon^2)$로 관련 균형을 계산한다.
• 이 알고리즘은 완전히 분산형이다: 각 에이전트가 로컬 관측값만을 사용하여 독립적으로 V-러닝을 실행하며, 통신이나 조율 없이도 작동한다.
• 이론적 분석 결과, V-러닝의 샘플 복잡도는 전체 행동 공간의 곱 $\prod_i A_i$가 아닌 각 에이전트의 최대 행동 공간 크기 $A$에만 의존함을 보여, 다중 에이전트의 곡률 문제를 해결한다.
• 이 방법은 증명 가능한 효율성을 갖추며, 정보 이론적 하한선에 로그 인자만을 추가로 포함하여 거의 최적성을 입증한다.