[论文解读] A Framework for Sequential Planning in Multi-Agent Settings

Prashant Doshi, Piotr J. Gmytrasiewicz|arXiv (Cornell University)|Sep 9, 2011

Reinforcement Learning in Robotics参考文献 48被引用 365

一句话总结

本文提出了交互式部分可观察马尔可夫决策过程（I-POMDPs），这是一种用于多智能体系统中顺序规划的决策理论框架，其中智能体不仅对环境状态保持信念，还对其他智能体的模型（包括其信念和偏好）保持信念。通过将POMDP扩展为包含嵌套、递归信念的框架，该方法在保持值函数收敛性、分段线性和凸性的同时，实现了不确定性下的最优决策，提供了一种比纳什均衡更具表达力的替代方案，避免了非唯一性和不完整性等问题。

ABSTRACT

This paper extends the framework of partially observable Markov decision processes (POMDPs) to multi-agent settings by incorporating the notion of agent models into the state space. Agents maintain beliefs over physical states of the environment and over models of other agents, and they use Bayesian updates to maintain their beliefs over time. The solutions map belief states to actions. Models of other agents may include their belief states and are related to agent types considered in games of incomplete information. We express the agents autonomy by postulating that their models are not directly manipulable or observable by other agents. We show that important properties of POMDPs, such as convergence of value iteration, the rate of convergence, and piece-wise linearity and convexity of the value functions carry over to our framework. Our approach complements a more traditional approach to interactive settings which uses Nash equilibria as a solution paradigm. We seek to avoid some of the drawbacks of equilibria which may be non-unique and do not capture off-equilibrium behaviors. We do so at the cost of having to represent, process and continuously revise models of other agents. Since the agents beliefs may be arbitrarily nested, the optimal solutions to decision making problems are only asymptotically computable. However, approximate belief updates and approximately optimal plans are computable. We illustrate our framework using a simple application domain, and we show examples of belief updates and value functions.

研究动机与目标

• 开发一种用于多智能体环境中不确定性下顺序决策的规范性框架。
• 通过引入智能体对其它智能体模型（包括其信念和偏好）的信念，扩展POMDP。
• 通过基于信念的最优响应方法，解决纳什均衡的局限性，如非唯一性和不完整性。
• 将交互信念形式化为嵌套的分层结构，并通过贝叶斯推断进行更新。
• 证明POMDP的关键性质——如值函数的凸性和值迭代的收敛性——可推广至多智能体环境。

提出的方法

• 提出I-POMDP作为POMDP的扩展，其中状态空间包含物理状态和其它智能体的模型。
• 对智能体自身及其对其他智能体的类型、偏好和信念进行建模，支持任意嵌套的交互信念。
• 使用贝叶斯更新递归地根据观测和动作修正信念，推广了POMDP的信念更新机制。
• 将解定义为从信念状态到动作的映射，通过动态规划和值迭代计算值函数。
• 引入有限嵌套的I-POMDP作为无限嵌套的可计算近似，实现实际计算。
• 采用alpha向量和内积表示并计算分段线性和凸的值函数。

实验结果

研究问题

• RQ1 智能体如何以递归、分层的方式维护并更新对其他智能体模型（包括其信念和偏好）的信念？
• RQ2 在具有交互信念的多智能体环境中，POMDP中值函数的收敛性、分段线性和凸性是否能够保持？
• RQ3 维持无限嵌套信念的计算权衡是什么？如何实现有效的近似？
• RQ4 与传统POMDP和纳什均衡解相比，I-POMDP框架在解的质量和表达力方面有何差异？
• RQ5 I-POMDP的解在何种条件下收敛？收敛速度如何？

主要发现

• I-POMDP中的值迭代算法收敛至唯一不动点，已通过压缩映射定理证明。
• 有限嵌套I-POMDP中的值函数是分段线性和凸的（PWLC），推广了POMDP的关键性质。
• I-POMDP中的信念更新是POMDP更新的推广，纳入了对其他智能体模型的信念。
• 该框架通过将智能体建模为具有递归信念的理性、自利行为者，支持不确定性下的最优决策。
• 即使由于无限嵌套导致精确解仅能渐近计算，近似信念更新和近似最优计划仍可计算。
• 该框架在多智能体环境中优于标准POMDP，能够捕捉非均衡行为，并更准确预测他人行为。