[논문 리뷰] Formal Contracts Mitigate Social Dilemmas in Multi-Agent RL

Andreas Haupt, Phillip J. K. Christoffersen외 2명|arXiv (Cornell University)|2022. 08. 22.

Multi-Agent Systems and Negotiation인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL)에서 사회적 딜레마를 해결하기 위한 공식 계약을 제안한다. 여기서 에이전트들은 관찰 가능한 조건에 기반해 자발적으로 보상 이전을 약속한다. 계약 공간이 충분히 풍부할 경우, 계약을 통해 에이전트들이 제안한 유 binding 보상 이전을 통해 모든 부분게임 완전 균형에서 사회적으로 최적의 행동을 확보할 수 있으며, 이는 정적 및 동적 환경 모두에서 전체 시스템의 복지 수준을 크게 향상시킨다.

ABSTRACT

Multi-agent Reinforcement Learning (MARL) is a powerful tool for training autonomous agents acting independently in a common environment. However, it can lead to sub-optimal behavior when individual incentives and group incentives diverge. Humans are remarkably capable at solving these social dilemmas. It is an open problem in MARL to replicate such cooperative behaviors in selfish agents. In this work, we draw upon the idea of formal contracting from economics to overcome diverging incentives between agents in MARL. We propose an augmentation to a Markov game where agents voluntarily agree to binding transfers of reward, under pre-specified conditions. Our contributions are theoretical and empirical. First, we show that this augmentation makes all subgame-perfect equilibria of all Fully Observable Markov Games exhibit socially optimal behavior, given a sufficiently rich space of contracts. Next, we show that for general contract spaces, and even under partial observability, richer contract spaces lead to higher welfare. Hence, contract space design solves an exploration-exploitation tradeoff, sidestepping incentive issues. We complement our theoretical analysis with experiments. Issues of exploration in the contracting augmentation are mitigated using a training methodology inspired by multi-objective reinforcement learning: Multi-Objective Contract Augmentation Learning (MOCA). We test our methodology in static, single-move games, as well as dynamic domains that simulate traffic, pollution management and common pool resource management.

연구 동기 및 목표

• 개인적 인cent리가 집단의 복지와 충돌하는 MARL에서의 사회적 딜레마를 해결하기 위해.
• 중앙 집중적 조율 없이도 이기적인 에이전트들이 협력적 결과를 달성할 수 있도록 탈중앙화된 메커니즘을 설계하기 위해.
• 마르코프 게임에 계약 기반 보완을 체계화하여 에이전트의 자율성을 유지하면서도 사회적 행동을 가능하게 하기 위해.
• 더 풍부한 계약 공간이 복잡한 도메인에서 조건부 관측 환경에서도 높은 시스템 성능을 이끌어내는지 입증하기 위해.
• 샘플 효율적인 학습 방법을 사용해 복잡하고 동적인 영역으로 이 방법을 확장하기 위해.

제안 방법

• 저자들은 관찰 가능한 마르코프 게임에 계약 보완을 도입하여, 에이전트들이 상태-행동 기반 보상 이전을 제안할 수 있도록 한다.
• 계약은 자발적이고 구속력이 있다: 에이전트는 제안을 거부할 수 있지만, 수락된 이후에는 계약 조건에 따라 보상이 수정된다.
• 충분히 풍부한 계약 공간이 존재할 경우, 사회적으로 최적의 행동이 부분게임 완전 균형이 되도록 보장하기 위해 강제 계약 메커니즘을 사용한다.
• 가치 추정의 편향을 줄이고 계약 학습 중 샘플 효율성을 향상시키기 위해 새로운 학습 방법인 다목적 계약 보완 학습(MOCA)을 제안한다.
• 이 방법은 정적 게임과 교통, 오염 관리, 공유 자원 관리와 같은 동적 도메인에서 평가된다.
• 이론적 분석을 통해 충분한 계약 표현력이 확보된 경우, 모든 부분게임 완전 균형이 사회적으로 최적임을 증명하고, 더 높은 계약 표현력은 전체 시스템 복지를 증가시킴을 보여준다.

실험 결과

연구 질문

• RQ1 중앙 집중적 조율이나 리더-팔로워 구조 없이도 공식 계약이 MARL에서 사회적 딜레마를 해결할 수 있는가?
• RQ2 MARL에서 계약 기반 보상 이전이 어떤 조건에서 사회적으로 최적의 균형을 이끌어내는가?
• RQ3 부분 관측 환경에서 계약 공간의 표현력은 시스템 성능과 복지에 어떤 영향을 미치는가?
• RQ4 탈중앙화되고 자율적인 계약 메커니즘이 동적이고 현실 세계를 반영한 도메인에서 표준 MARL 기준보다 뛰어난 성능을 낼 수 있는가?
• RQ5 오직 한 명의 에이전트만 계약을 제안할 수 있을 경우, 계약 제안의 공정성에 대한 영향은 무엇인가?

주요 결과

• 계약 공간이 충분히 풍부하고 게임이 완전히 관측 가능할 경우, 보완된 게임의 모든 부분게임 완전 균형은 사회적으로 최적이다.
• 일반적인 설정, 즉 부분 관측 게임을 포함한 경우, 더 표현력이 뛰어난 계약 공간은 더 높은 전체 시스템 복지를 이끌어내며, 계약 복잡성과 성능 사이의 직접적인 연관성을 입증한다.
• MOCA 학습 방법은 가치 추정의 편향을 크게 줄이고 샘플 효율성을 향상시켜, 테스트된 모든 환경에서 벤치마크를 초월한다.
• 죄수의 딜레마 게임에서, 배신자에게 1.5 단위의 벌금을 부과하는 계약은 게임을 재구성하여 상호 협력이 유일한 내쉬 균형이 되게 하며, 양쪽 에이전트의 보상은 -2에서 -1으로 향상된다.
• 클리닝 도메인에서, 한 에이전트가 강줄을 청소하는 데 대해 다른 에이전트에게 보상 지급을 약속하는 계약은 사회적으로 최적 정책으로의 완전한 조율을 가능하게 하여 총 보상 최대화를 달성한다.
• 분석 결과, 공정성의 상충 요소가 드러났다: 계약은 전체 복지를 향상시키지만, 직접적인 이익을 얻는 것은 제안자 에이전트뿐이며, 이는 공정성이 중요한 환경에서 우려를 낳는다.