[论文解读] A Unified Approach to Dynamic Decision Problems with Asymmetric Information - Part I: Non-Strategic Agents

Hamidreza Tavafoghi, Yi Ouyang+1 more|arXiv (Cornell University)|Dec 3, 2018

Auction Theory and Applications参考文献 51被引用 4

一句话总结

本文通过提出充分信息信念（SIB）状态，为具有非策略性代理和非对称信息的动态多智能体决策问题提出了一套统一框架，该状态以时间不变且相互一致的方式压缩私有信息与共有信息。关键贡献在于一种顺序分解方法，通过动态规划实现逆向归纳，从而在不损失最优性的情况下获得动态团队中的全局最优策略。

ABSTRACT

We study a general class of dynamic multi-agent decision problems with asymmetric information and non-strategic agents, which includes dynamic teams as a special case. When agents are non-strategic, an agent's strategy is known to the other agents. Nevertheless, the agents' strategy choices and beliefs are interdependent over times, a phenomenon known as signaling. We introduce the notions of private information that effectively compresses the agents' information in a mutually consistent manner. Based on the notions of sufficient information, we propose an information state for each agent that is sufficient for decision making purposes. We present instances of dynamic multi-agent decision problems where we can determine an information state with a time-invariant domain for each agent. Furthermore, we present a generalization of the policy-independence property of belief in Partially Observed Markov Decision Processes (POMDP) to dynamic multi-agent decision problems. Within the context of dynamic teams with asymmetric information, the proposed set of information states leads to a sequential decomposition that decouples the interdependence between the agents' strategies and beliefs over time, and enables us to formulate a dynamic program to determine a globally optimal policy via backward induction.

研究动机与目标

• 解决具有非对称信息和非策略性代理的动态多智能体系统中策略与信念之间的相互依赖性挑战。
• 开发一种通用方法，将智能体的私有信息与共有信息压缩为时间不变的充分信息状态，同时保持决策最优性。
• 建立一种顺序分解方法，实现时间上策略与信念相互依赖关系的解耦，从而支持逆向归纳。
• 将部分可观察马尔可夫决策过程（POMDP）中信念的策略无关性特性推广至具有非对称信息的多智能体场景。
• 制定一种动态规划方法，用于确定具有非对称信息的动态团队中的全局最优策略组合。

提出的方法

• 引入充分私有信息（SPI）的概念，以时间上一致的方式压缩智能体的私有信息与共有信息。
• 将基于充分信息的信念（SIB）状态定义为对系统状态和SPI的信念，在特定条件下保持时间不变。
• 提出一种顺序分解方法，解耦智能体策略与信念之间的相互依赖性，从而支持逆向归纳。
• 利用SIB信念和基于贝叶斯规则的时间不变更新规则，制定一种动态规划，以递归方式计算信念。
• 将POMDP中信念的策略无关性特性推广至具有非对称信息的动态团队。
• 为无限时域动态团队推导贝尔曼方程，采用平稳SIB策略和时间不变的更新规则。

实验结果

研究问题

• RQ1 我们能否在不损失最优性的情况下，将非策略性智能体在动态多智能体系统中的私有信息与共有信息压缩为时间不变的充分信息状态？
• RQ2 在具有非对称信息的动态团队中，如何实现时间上策略与信念相互依赖关系的解耦？
• RQ3 POMDP中信念的策略无关性特性是否可推广至具有非对称信息和非策略性代理的多智能体系统？
• RQ4 我们能否基于SIB状态，为具有非对称信息的动态团队制定一种用于全局最优策略选择的动态规划？
• RQ5 在动态决策问题中，何种条件可保证时间不变的充分私有信息的存在？

主要发现

• 所提出的SIB信念状态在决策中是充分的，并支持一种顺序分解，从而在时间上解耦策略与信念的相互依赖性。
• 在非策略性智能体的动态决策问题中，仅采用基于SIB的策略不会导致最优性损失。
• 在特定实例中，充分私有信息具有时间不变的定义域，从而可使用平稳策略。
• 通过SIB信念和时间不变的更新规则，制定了动态规划，支持通过逆向归纳计算全局最优策略。
• POMDP中信念的策略无关性特性被推广至具有非对称信息的动态团队。
• 为无限时域动态团队推导出贝尔曼方程，将POMDP的公式推广至具有非对称信息的多智能体场景。