[論文レビュー] A Unified Approach to Dynamic Decision Problems with Asymmetric Information - Part I: Non-Strategic Agents

Hamidreza Tavafoghi, Yi Ouyang+1 more|arXiv (Cornell University)|Dec 3, 2018

Auction Theory and Applications参考文献 51被引用数 4

ひとこと要約

本稿では、非戦略的エージェントと非対称情報を持つ動的マルチエージェント意思決定問題に対して、時間不変かつ相互に整合的な方法で私的および共通情報の圧縮を可能にする十分情報に基づく信念（SIB）状態を提案することで、統一的なフレームワークを導入する。主な貢献は、動的計画法を用いた後退帰納法を可能にする順次的分解であり、最適性の損失なしに動的チームにおけるグローバル最適戦略を導出可能である。

ABSTRACT

We study a general class of dynamic multi-agent decision problems with asymmetric information and non-strategic agents, which includes dynamic teams as a special case. When agents are non-strategic, an agent's strategy is known to the other agents. Nevertheless, the agents' strategy choices and beliefs are interdependent over times, a phenomenon known as signaling. We introduce the notions of private information that effectively compresses the agents' information in a mutually consistent manner. Based on the notions of sufficient information, we propose an information state for each agent that is sufficient for decision making purposes. We present instances of dynamic multi-agent decision problems where we can determine an information state with a time-invariant domain for each agent. Furthermore, we present a generalization of the policy-independence property of belief in Partially Observed Markov Decision Processes (POMDP) to dynamic multi-agent decision problems. Within the context of dynamic teams with asymmetric information, the proposed set of information states leads to a sequential decomposition that decouples the interdependence between the agents' strategies and beliefs over time, and enables us to formulate a dynamic program to determine a globally optimal policy via backward induction.

研究の動機と目的

• 非対称情報と非戦略的エージェントを有する動的マルチエージェントシステムにおける戦略と信念の相関関係の課題に対処すること。
• 意思決定の最適性を保持する時間不変の十分情報状態に、エージェントの私的および共通情報を一般化して圧縮するための一般的な手法を開発すること。
• 時間経過に伴う戦略と信念の相関関係を解体する順次的分解を確立し、後退帰納法を可能にすること。
• POMDPにおける信念のポリシー独立性の性質を、非対称情報を持つマルチエージェント設定に一般化すること。
• 非対称情報を持つ動的チームにおけるグローバル最適戦略プロファイルを決定するための動的計画法を定式化すること。

提案手法

• 時間経過に伴い、エージェントの私的および共通情報を相互に整合的に圧縮する十分私的情報（SPI）の概念を導入すること。
• SIB状態を、システム状態とSPIの上での信念として定義し、特定の条件下で時間不変となることを示すこと。
• 戦略と信念の相関関係を時間的に分離する順次的分解を提案し、後退帰納法を可能にすること。
• SIB信念と時間不変の更新ルール（ベイズの定理を用いて）を用いて、反復的に信念を計算する動的計画法を定式化すること。
• POMDPにおけるポリシー独立性信念の性質を、非対称情報を持つ動的チームに一般化すること。
• 定常SIB戦略と時間不変の更新ルールを用いて、無限時間ホライズンの動的チームに対してベルマン方程式を導出すること。

実験結果

リサーチクエスチョン

• RQ1 非戦略的エージェントを有する動的マルチエージェントシステムにおいて、私的および共通情報を最適性の損失なしに時間不変の十分情報状態に圧縮することは可能か？
• RQ2 非対称情報を持つ動的チームにおいて、時間経過に伴うエージェントの戦略と信念の相関関係をどのように分離できるか？
• RQ3 POMDPにおける信念のポリシー独立性の性質は、非対称情報と非戦略的エージェントを有するマルチエージェントシステムに拡張可能か？
• RQ4 SIB状態を用いて、非対称情報を持つ動的チームにおけるグローバル最適戦略選択のための動的計画法を定式化できるか？
• RQ5 動的意思決定問題において、時間不変の十分私的情報が存在するための条件は何か？

主な発見

• 提案されたSIB信念状態は意思決定に十分であり、戦略と信念の相関関係を時間的に分離する順次的分解を可能にする。
• SIBに基づく戦略に制限しても、非戦略的エージェントを有する動的意思決定問題において最適性の損失は生じない。
• 特定のインスタンスにおいて、十分私的情報の定義域が時間不変であることが示され、定常戦略の使用が可能になる。
• SIB信念と時間不変の更新ルールを用いた動的計画法が定式化され、後退帰納法によりグローバル最適戦略を計算可能となる。
• POMDPにおける信念のポリシー独立性の性質が、非対称情報を持つ動的チームに一般化された。
• 無限時間ホライズンの動的チームに対して、ベルマン方程式が導出され、POMDPの定式化が非対称情報を持つマルチエージェント設定に一般化された。