[論文レビュー] Rethinking Formal Models of Partially Observable Multiagent Decision Making

Vojtěch Kovařík, Martin Schmid+3 more|arXiv (Cornell University)|Jun 26, 2019

Auction Theory and Applications被引用数 4

ひとこと要約

この論文は、部分的に観測可能なマルチエージェントシステムにおける公開観測と非公開観測を明示的にモデル化する、洗練された形式であるFactored-Observation Stochastic Games (FOSGs) を導入する。FOSGs を広範な形式ゲーム（EFG）に展開することで、著者たちは FOSGs と EFG の間の厳密な同等性を確立し、現代の EFG 技法（例：反事後的後悔最小化、分解）が FOSGs を通じてマルチエージェント強化学習（MARL）に自然かつ体系的に移行可能であることを示している。これにより、古典的 EFG 形式化における長年の曇りが解消される。

ABSTRACT

Multiagent decision-making in partially observable environments is usually modelled as either an extensive-form game (EFG) in game theory or a partially observable stochastic game (POSG) in multiagent reinforcement learning (MARL). One issue with the current situation is that while most practical problems can be modelled in both formalisms, the relationship of the two models is unclear, which hinders the transfer of ideas between the two communities. A second issue is that while EFGs have recently seen significant algorithmic progress, their classical formalization is unsuitable for efficient presentation of the underlying ideas, such as those around decomposition. To solve the first issue, we introduce factored-observation stochastic games (FOSGs), a minor modification of the POSG formalism which distinguishes between private and public observation and thereby greatly simplifies decomposition. To remedy the second issue, we show that FOSGs and POSGs are naturally connected to EFGs: by "unrolling" a FOSG into its tree form, we obtain an EFG. Conversely, any perfect-recall timeable EFG corresponds to some underlying FOSG in this manner. Moreover, this relationship justifies several minor modifications to the classical EFG formalization that recently appeared as an implicit response to the model's issues with decomposition. Finally, we illustrate the transfer of ideas between EFGs and MARL by presenting three key EFG techniques -- counterfactual regret minimization, sequence form, and decomposition -- in the FOSG framework.

研究の動機と目的

• マルチエージェント意思決定における広範な形式ゲーム（EFG）と部分的観測確率的ゲーム（POSG）の間の相互運用性の欠如と概念的曇りを解消すること。
• 古典的 EFG が公開観測と非公開観測、タイミング情報の表現に限界を示しており、分解やアルゴリズム設計を妨げることを是正すること。
• 公開知識とプレイヤー固有の観測を明示的に符号化する、より直感的な EFG 表記を形式化し、現代のアルゴリズム的実践と整合させること。
• 反事後的後悔最小化や系列形式といった EFG 技法が、FOSG フレームワークにおいて自然かつ体系的に適用可能であることを示すこと。
• FOSGs、POSGs、EFGs 間の正式なブリッジを確立することで、MARL とアルゴリズム的ゲーム理論のコミュニティを統合すること。

提案手法

• POSG のわずかだが重要な拡張として、Factored-Observation Stochastic Games (FOSGs) を提唱し、公開観測と非公開観測を明示的に区別する。
• FOSG を広範な形式ゲーム（EFG）に変換する標準的な展開手順を定義し、公開知識とプレイヤー固有の情報が保持されるようにする。
• すべての適切に定義された EFG（完全記憶性と時刻順性を満たすもの）は一意の元の FOSG に対応し、双対的関係が確立されることを示す。
• 公衆的信念状態と共通知識状態を用いて、情報集合や部分ゲームといった古典的 EFG 概念を再形式化し、分解とアルゴリズム的明瞭性を向上させる。
• 反事後的後悔最小化や系列形式といった、EFG のコア技術が FOSG フレームワーク内で自然に表現され、実装可能であることを示す。
• FOSG 形式を用いて、公開／非公開観測の違いに暗黙的に依存する最近の MARL の進展（例：DeepStack、ReBeL）を統一的かつ明確に解釈できるようにする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントの部分的観測システムにおいて、公開観測と非公開観測を正式に区別することで、モデルの表現力がどのように向上するか。
• RQ2 FOSGs、POSGs、EFGs 間の正確な関係は何か。この関係を形式化することで、コミュニティ間のアイデアの移行が可能になるか。
• RQ3 古典的 EFG 形式化は、現代のアルゴリズムが求める分解と部分ゲーム推論を自然にサポートできるように見直せるか。
• RQ4 反事後的後悔最小化や系列形式といった EFG 技法が、FOSG フレームワークにどの程度適応・適用可能か。
• RQ5 FOSG 形式は、理論的モデルと実用的 MARL 実装との間の整合性をどのように向上させるか。

主な発見

• FOSGs は、観測を公開成分と非公開成分に明示的に因子分解することで、POSG の最小限だが本質的な拡張を提供し、情報構造の明確なモデル化を可能にする。
• すべての FOSG は標準的な EFG に展開可能であり、すべての適切に定義された EFG（完全記憶性と時刻順性を満たすもの）は一意の元の FOSG に対応する。これにより、双対的対応関係が確立される。
• 公衆的信念状態と共通知識状態に基づく提案された EFG 形式化は、古典的 EFG における長年の曇りを解消し、体系的な分解を可能にする。
• FOSG フレームワークは、反事後的後悔最小化や系列形式といった主要な EFG 技法を自然にサポートする。これらの技術は FOSG において直接的かつ直感的に定式化可能である。
• この形式は、MARL とゲーム理論のコミュニティ間での結果の直接的移行を可能にし、ReBeL における FOSG の採用や DeepStack の設計原理との整合性によって実証されている。
• FOSG モデルは、古典的 EFG における情報損失の問題を解消する。すなわち、情報集合の定義において、公開／非公開観測の違いやタイミング情報が暗黙的に失われる問題が解消される。