[논문 리뷰] Calibration of Shared Equilibria in General Sum Partially Observable Markov Games

Nelson Vadori, Sumitra Ganesh외 2명|arXiv (Cornell University)|2020. 06. 23.

Game Theory and Applications참고 문헌 32인용 수 6

한 줄 요약

이 논문은 일반합 부분 관측 가능 마르코프 게임에서 파arameter 공유 정책을 사용하는 경우, 기능 형식 게임(FG)에서 대칭 순수 내쉬 균형으로서의 공유 균형(shared equilibrium)를 도입하며, 특정 게임 조건 하에서 자기대전(self-play)을 통한 수렴성을 증명한다. 이는 일반합 부분 관측 가능 마르코프 게임에서 파arameter 공유 정책을 사용하는 경우, 기능 형식 게임(FG)에서 대칭 순수 내쉬 균형으로서의 공유 균형(shared equilibrium)를 도입하며, 특정 게임 조건 하에서 자기대전(self-play)을 통한 수렴성을 증명한다. 이를 바탕으로, 정책 네트워크와 RL 校정기(rl calibrator)를 동시에 학습하는 이중 강화학습(dual-RL) 알고리즘인 CALSHEQ를 제안한다. 이는 에이전트 유형 분포를 부드럽게 校정하여, 반복적 학습이 필요한 베이지안 최적화보다 더 빠르고 안정적인 수렴을 이끌어내며 실제 행동 목표를 정확하게 재현한다.

ABSTRACT

Training multi-agent systems (MAS) to achieve realistic equilibria gives us a useful tool to understand and model real-world systems. We consider a general sum partially observable Markov game where agents of different types share a single policy network, conditioned on agent-specific information. This paper aims at i) formally understanding equilibria reached by such agents, and ii) matching emergent phenomena of such equilibria to real-world targets. Parameter sharing with decentralized execution has been introduced as an efficient way to train multiple agents using a single policy network. However, the nature of resulting equilibria reached by such agents has not been yet studied: we introduce the novel concept of Shared equilibrium as a symmetric pure Nash equilibrium of a certain Functional Form Game (FFG) and prove convergence to the latter for a certain class of games using self-play. In addition, it is important that such equilibria satisfy certain constraints so that MAS are calibrated to real world data for practical use: we solve this problem by introducing a novel dual-Reinforcement Learning based approach that fits emergent behaviors of agents in a Shared equilibrium to externally-specified targets, and apply our methods to a n-player market example. We do so by calibrating parameters governing distributions of agent types rather than individual agents, which allows both behavior differentiation among agents and coherent scaling of the shared policy network to multiple agents.

연구 동기 및 목표

• 일반합 부분 관측 가능 마르코프 게임에서 공유 정책를 사용하는 에이전트가 도달하는 균형의 게임 이론적 성격을 공식적으로 기술하는 것.
• 거래 빈도나 시장 점유율 제약과 같은 외부로 지정된 실제 세계의 목표에 맞추어 기대되는 다중 에이전트 행동을 校정하는 데 도전하는 것.
• 반복적인 학습 사이클을 피하면서도 정책 네트워크와 에이전트 유형(초유형) 분포를 위한 RL 기반 校정기를 함께 학습하는 효율적이고 확장 가능한 방법을 개발하는 것.
• 부드러운 파arameter 업데이트를 포함한 이중 시간 척도(stochastic approximation) 프레임워크를 도입하여 균형의 안정적 수렴을 보장하는 것.

제안 방법

• 기능 형식 게임(FFG)에서 대칭 순수 내쉬 균형으로서의 공유 균형(shared equilibrium)를 도입하고, 특정 게임 조건 하에서 자기대전을 통한 수렴성을 증명한다.
• 공유 정책 네트워크가 균형을 학습하고 별도의 RL 校정기가 에이전트 유형(초유형) 분포를 제어하는 데 영향을 주는 파arameter를 최적화하는 이중 강화학습(dual-RL) 프레임워크인 CALSHEQ를 제안한다.
• 개별 에이전트가 아닌 초유형 프로파일(예: 연결성, 재고 용인도)을 조정하여 시스템을 校정함으로써 통합적인 스케일링과 행동의 차별화를 가능하게 한다.
• 하위 목표로 거래량 백분위수 및 시장 점유율을 외부 목표와 일치시키는 가중치가 부여된 보상 함수를 사용한다.
• 이중 시간 척도(stochastic approximation)를 적용: 정책 네트워크는 빠르게 업데이트되고, 校정기는 느리게 업데이트되어 균형이 안정화된 후에 새로운 초유형 프로파일이 적용되도록 한다.
• n명의 플레이어로 구성된 시장 시뮬레이션에 이 방법을 적용하여, 서로 다른 초유형을 가진 상인들이 공유 정책과 목표 제약 조건 하에서 상호작용하도록 한다.

실험 결과

연구 질문

• RQ1 일반합 부분 관측 가능 마르코프 게임에서 서로 다른 유형의 에이전트가 공유 정책 네트워크를 사용할 때 도달하는 균형의 게임 이론적 성격은 무엇인가?
• RQ2 이러한 다중 에이전트 시스템에서 기대되는 행동을 거래 빈도나 시장 점유율과 같은 실제 세계의 제약 조건에 맞추어 어떻게 校정할 수 있는가?
• RQ3 비용이 많이 드는 반복적 학습 사이클을 피하면서도 안정적인 수렴을 보장하는 균형에 도달하는 공동 학습 프레임워크를 설계할 수 있는가?
• RQ4 개별 에이전트 파arameter가 아닌 초유형 분포를 校정하는 데서 기대되는 확장성 및 행동 일관성 측면의 이점은 무엇인가?

주요 결과

• CALSHEQ는 수렴 속도와 안정성 면에서 베이지안 최적화를 능가하며, 거래량 백분위수 및 시장 점유율과 같은 목표 지표를 더 매끄럽고 정확하게 校정한다.
• CALSHEQ의 RL 校정기는 에이전트가 새로운 초유형 프로파일에 적응할 시간을 확보함으로써, 베이지안 최적화와 달리 부정적인 보상을 피하고 평균 보상도 더 높게 달성한다.
• CALSHEQ에서는 초유형 파arameter(예: 연결성, 재고 용인도)가 부드럽게 업데이트되어, 베이지안 최적화 기반 베이스라인에서 관찰된 불안정성과 보상 발산 현상이 방지된다.
• 이 방법은 실제 세계의 목표, 예를 들어 초유형 1의 10번째 백분위수 거래 건수 8건을 정확하고 변동성이 낮게 재현하여 상인 에이전트 유형의 분포를 성공적으로 校정한다.
• 다양한 초유형 구성(예: 2-2-2-3 및 3-4-5-5)에 걸쳐 수렴이 안정적이고 강건하며, CALSHEQ는 일관된 성능을 보인다.
• 이중 시간 척도 프레임워크는 校정기가 새로운 조정을 가하기 전에 균형이 도달하도록 보장하여 신뢰할 수 있고 일관된 정책 적응을 가능하게 한다.