[논문 리뷰] Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning

Anuj Mahajan, Mikayel Samvelyan외 7명|arXiv (Cornell University)|2021. 05. 31.

Lattice Boltzmann Simulation Studies인용 수 6

한 줄 요약

Tesseract는 다중 에이gent 강화 학습을 위한 텐서 기반 프레임워크를 제안하며, 연합 행동가치 함수를 텐서로 모델링하여 낮은 랭크 분해를 통해 에이전트 간 상호작용을 효율적으로 포착한다. 텐서 기반 벨만 방정식을 수립하고 PAC 분석을 활용함으로써, 특히 협동적 에이전트가 있는 고차원 행동 공간에서 기존 방법에 비해 지수적 샘플 효율성 향상을 달성한다.

ABSTRACT

Reinforcement Learning in large action spaces is a challenging problem. Cooperative multi-agent reinforcement learning (MARL) exacerbates matters by imposing various constraints on communication and observability. In this work, we consider the fundamental hurdle affecting both value-based and policy-gradient approaches: an exponential blowup of the action space with the number of agents. For value-based methods, it poses challenges in accurately representing the optimal value function. For policy gradient methods, it makes training the critic difficult and exacerbates the problem of the lagging critic. We show that from a learning theory perspective, both problems can be addressed by accurately representing the associated action-value function with a low-complexity hypothesis class. This requires accurately modelling the agent interactions in a sample efficient way. To this end, we propose a novel tensorised formulation of the Bellman equation. This gives rise to our method Tesseract, which views the Q-function as a tensor whose modes correspond to the action spaces of different agents. Algorithms derived from Tesseract decompose the Q-tensor across agents and utilise low-rank tensor approximations to model agent interactions relevant to the task. We provide PAC analysis for Tesseract-based algorithms and highlight their relevance to the class of rich observation MDPs. Empirical results in different domains confirm Tesseract's gains in sample efficiency predicted by the theory.

연구 동기 및 목표

• 협동 다중 에이전트 강화 학습(MARL)에서 행동 공간의 지수적 증가 문제를 해결함으로써 가치 함수 표현과 크리틱 학습에 악영향을 미치는 것을 목표로 한다.
• 가치 기반 방법의 한계(제약된 Q-함수 표현으로 인한 부분 최적 정책)와 액터-크리틱 방법의 한계(크리틱의 지연 및 낮은 샘플 효율성)를 극복하는 것을 목표로 한다.
• 낮은 차원의 표현을 유지하면서도 정확하고 샘플 효율적인 연합 행동가치 함수 모델링을 가능하게 하는 통합적이고 이론적으로 탄탄한 프레임워크를 개발하는 것을 목표로 한다.
• 모델 기반 Tesseract 알고리즘에 대한 PAC 일반화 경계를 제공하여, 기저 MDP 동역학을 복구하는 데 있어 샘플 복잡도 향상을 입증하는 것

제안 방법

• 각 에이전트의 행동 공간에 해당하는 모드를 가진 다중 방향 텐서로 표현된 Q-함수를 활용하는 텐서 기반 벨만 방정식을 수립한다.
• 낮은 랭크 텐서 근사(예: Tucker 또는 CP 분해)를 사용하여 Q-텐서를 분해함으로써 복잡도를 감소시키면서도 관련된 에이전트 간 상호작용을 모델링한다.
• 신경망 아키텍처를 통해 암묵적으로 낮은 랭크 구조를 유도하는 모델리스 변형을 도입함으로써, 개선된 샘플 효율성을 갖는 딥 MARL을 가능하게 한다.
• 모델 기반 Tesseract에 대한 PAC 학습 경계를 유도하여, 내재된 작업 차원 U와 n명의 에이전트에 대해 샘플 복잡도가 O(|U|^{n/2})로 스케일링됨을 보여준다.
• 값 기반 및 액터-크리틱 MARL 모두에 텐서 분해를 적용하여, 중심화된 훈련과 분산 실행(CTDE)을 유지하면서도 저차원 표현을 확보한다.
• 관찰 값이 풍부한 MDP를 위한 프레임워크를 제안하며, 전이 및 보상 함수의 낮은 랭크 텐서 근사를 통해 연합 동역학을 모델링한다.

실험 결과

연구 질문

• RQ1 행동 공간이 지수적으로 증가하는 협동 MARL 환경에서 연합 Q-함수의 텐서 기반 표현이 더 높은 샘플 효율성 학습을 가능하게 할 수 있는가?
• RQ2 Q-텐서의 낮은 랭크 텐서 근사가 값 기반 및 액터-크리틱 MARL 알고리즘의 정확성과 샘플 효율성을 어떻게 향상시키는가?
• RQ3 PAC 프레임워크 하에서 Tesseract 기반 모델 기반 알고리즘을 사용해 기저 MDP 동역학을 학습할 때 이론적으로 보장할 수 있는 보장을 무엇인가?
• RQ4 다양한 MARL 환경에서 Tesseract의 성능은 최신 기술 대비 샘플 효율성과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 텐서 분해의 랭크가 MARL에서 모델 표현력과 샘플 복잡도 사이의 상호 교환 관계에 미치는 영향은 무엇인가?

주요 결과

• Tesseract는 지수적 샘플 효율성 향상을 달성하며, PAC 경계를 통해 내재된 작업 차원 U와 n명의 에이전트에 대해 샘플 복잡도가 O(|U|^{n/2})로 스케일링됨을 보여준다.
• 모델 기반 Tesseract 알고리즘은 정확도 및 신뢰도 파rameter의 다항식 비율로 샘플 수를 사용하여 진짜 연합 전이 및 보상 함수를 높은 확률로 복구한다.
• 실증 평가에서 Tesseract는 협동 주행 및 사냥사냥 환경을 포함한 여러 MARL 환경에서 최신 기술 대비 샘플 효율성과 최종 성능 모두에서 뛰어난 성능을 보였다.
• 모델리스 변형 Tesseract는 신경망을 통해 암묵적으로 낮은 랭크 구조를 유도하여, 기준 대비 개선된 샘플 효율성을 갖는 효과적인 딥 MARL을 가능하게 한다.
• Tesseract는 텐서 분해의 랭크를 통해 근사 정확도와 계산 복잡도 사이의 자연스러운 스펙트럼을 제공한다.
• 이 프레임워크는 낮은 차원의 특징 표현을 사용하여 복잡한 에이전트 상호작용을 효율적으로 모델링할 수 있는 풍부한 관찰 MDP에 적용 가능하다.