[논문 리뷰] Rethinking Formal Models of Partially Observable Multiagent Decision Making

Vojtěch Kovařík, Martin Schmid외 3명|arXiv (Cornell University)|2019. 06. 26.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 부분적으로 관찰 가능한 다중 에이전트 시스템에서 공개적이고 비공개적 관찰을 명시적으로 모델링하는 데 중점을 둔 보다 정교한 형식인 Factored-Observation Stochastic Games (FOSGs)를 소개한다. FOSGs를 꼬임 없이 광범위한 형태의 게임(EFGs)으로 전개함으로써, 저자는 FOSGs와 EFGs 간의 엄밀한 동치성을 확립하며, 최근의 EFG 기법—예를 들어 반사적 위험 최소화와 분해 기법—이 FOSGs를 통해 자연스럽고 체계적으로 다중에이전트 강화학습(MARL)에 이식될 수 있음을 보여주며, 고전적인 EFG 형식화에서 오랫동안 애매하게 여겨져 온 문제들을 해결한다.

ABSTRACT

Multiagent decision-making in partially observable environments is usually modelled as either an extensive-form game (EFG) in game theory or a partially observable stochastic game (POSG) in multiagent reinforcement learning (MARL). One issue with the current situation is that while most practical problems can be modelled in both formalisms, the relationship of the two models is unclear, which hinders the transfer of ideas between the two communities. A second issue is that while EFGs have recently seen significant algorithmic progress, their classical formalization is unsuitable for efficient presentation of the underlying ideas, such as those around decomposition. To solve the first issue, we introduce factored-observation stochastic games (FOSGs), a minor modification of the POSG formalism which distinguishes between private and public observation and thereby greatly simplifies decomposition. To remedy the second issue, we show that FOSGs and POSGs are naturally connected to EFGs: by "unrolling" a FOSG into its tree form, we obtain an EFG. Conversely, any perfect-recall timeable EFG corresponds to some underlying FOSG in this manner. Moreover, this relationship justifies several minor modifications to the classical EFG formalization that recently appeared as an implicit response to the model's issues with decomposition. Finally, we illustrate the transfer of ideas between EFGs and MARL by presenting three key EFG techniques -- counterfactual regret minimization, sequence form, and decomposition -- in the FOSG framework.

연구 동기 및 목표

• 다중에이전트 의사결정에서 광범위한 형태의 게임(EFGs)과 부분적으로 관찰 가능한 마르코프 결정 과정(POSGs) 간의 상호운용성 부족과 개념적 모호성을 해결하기 위해.
• 고전적인 EFGs가 공개적 관찰과 비공개적 관찰, 시간 정보를 표현하는 데 한계를 지닌다는 점을 다루며, 이는 분해와 알고리즘 설계를 방해한다.
• 공개 지식과 플레이어별 관찰을 명시적으로 코딩하는 새로운, 더 직관적인 EFG 표현 방식을 체계화함으로써 현대 알고리즘 실천과의 일치를 이루기 위해.
• 반사적 위험 최소화와 순서 형식(sequence form)과 같은 핵심 EFG 기법이 FOSG 프레임워크에서 자연스럽고 체계적으로 적용될 수 있음을 보여주기 위해.
• FOSGs, POSGs, EFGs 간의 공식적 다리를 구축함으로써 MARL 및 알고리즘 게임이론 공동체를 통합하기 위해.

제안 방법

• 공개적 관찰과 비공개적 관찰을 명시적으로 구분하는 FOSGs를 POSGs의 미세한 확장으로 제안함.
• FOSG를 광범위한 형태의 게임(EFG)으로 변환하는 표준화된 전개 절차를 정의하며, 공개 지식과 플레이어별 정보를 유지함.
• 모든 잘 정의된 EFG(완전기억 및 시간순서가 보장됨)는 유일한 기저 FOSG와 대응되며, 이는 이중사상 관계를 수립함.
• 공개 믿음 상태와 공통 지식 상태를 사용하여 고전적인 EFG 개념—예를 들어 정보집합(infosets)과 부분게임(subgames)—을 재구성함으로써 분해 및 알고리즘 명확성을 향상시킴.
• 반사적 위험 최소화와 순서 형식과 같은 핵심 EFG 기법이 FOSG 프레임워크에서 직접적으로 자연스럽게 표현되고 구현될 수 있음을 보여줌.
• FOSG 형식을 사용하여 최근 MARL의 진전(예: DeepStack, ReBeL)을 통합하고 명확화함. 이들 연구는 공개/비공개 관찰의 차이를 암묵적으로 활용하고 있음.

실험 결과

연구 질문

• RQ1 다중에이전트 부분적 관찰 시스템에서 공개적 관찰과 비공개적 관찰을 공식적으로 구분함으로써 모델 표현력을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 FOSGs, POSGs, EFGs 간의 정확한 관계는 무엇이며, 이를 공식화하여 공동체 간 아이디어의 이식을 가능하게 할 수 있는가?
• RQ3 고전적인 EFG 형식화는 현대 알고리즘에서 요구하는 분해와 부분게임 추론을 자연스럽게 지원하도록 개선될 수 있는가?
• RQ4 반사적 위험 최소화와 순서 형식과 같은 EFG 기법이 FOSG 프레임워크에 얼마나 잘 적응되고 적용될 수 있는가?
• RQ5 FOSG 형식은 이론적 모델과 실질적 MARL 구현 간의 일치를 얼마나 잘 향상시킬 수 있는가?

주요 결과

• FOSGs는 관찰을 공개적 및 비공개적 구성요소로 명시적으로 분리함으로써 POSGs에 대한 최소한이지만 필수적인 확장이며, 정보 구조의 명확한 모델링을 가능하게 한다.
• 모든 FOSG는 표준화된 EFG로 전개될 수 있으며, 모든 잘 정의된 EFG(완전기억 및 시간순서 보장)는 유일한 기저 FOSG와 대응되며, 이는 이중사상 관계를 수립함.
• 공개 믿음 상태와 공통 지식 상태를 기반으로 한 제안된 EFG 형식화는 고전적인 EFG에서 오랫동안 애매하게 여겨졌던 문제를 해결하며 체계적 분해를 지원한다.
• FOSG 프레임워크는 핵심 EFG 기법—반사적 위험 최소화와 순서 형식—을 자연스럽게 지원한다. 이들은 FOSG에서 직접적이고 직관적으로 표현될 수 있다.
• 이 형식은 MARL 및 게임이론 공동체 간의 결과 전이를 직접 가능하게 하며, ReBeL에서 FOSGs의 채택과 DeepStack의 설계 원칙과의 일치를 통해 이를 입증한다.
• FOSG 모델은 고전적인 EFGs에서 발생하는 정보 손실 문제를 해결한다. 공개/비공개 관찰의 차이와 시간 정보는 고전적인 정보집합 정의에서 암묵적으로 손실된다.