[论文解读] Dynamic Team Theory of Stochastic Differential Decision Systems with Decentralized Noisy Information Structures via Girsanov's Measure Transformation

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|Sep 7, 2013

Opinion Dynamics and Social Influence参考文献 60被引用 10

一句话总结

本文通过使用 Girsanov 的测度变换，将静态团队理论推广至具有去中心化噪声信息结构的连续时间随机微分决策系统。引入了两种方法——函数空间积分与随机庞特里亚金最大值原理，证明了在全局凸性条件下松弛团队策略与 PbP 最优策略的存在性，并通过条件哈密顿函数与前向-后向 SDE 建立团队最优性。

ABSTRACT

In this paper, we present two methods which generalize static team theory to dynamic team theory, in the context of continuous-time stochastic nonlinear differential decentralized decision systems, with relaxed strategies, which are measurable to different noisy information structures. For both methods we apply Girsanov's measure transformation to obtain an equivalent dynamic team problem under a reference probability measure, so that the observations and information structures available for decisions, are not affected by any of the team decisions. The first method is based on function space integration with respect to products of Wiener measures, and generalizes Witsenhausen's [1] definition of equivalence between discrete-time static and dynamic team problems. The second method is based on stochastic Pontryagin's maximum principle. The team optimality conditions are given by a "Hamiltonian System" consisting of forward and backward stochastic differential equations, and a conditional variational Hamiltonian with respect to the information structure of each team member, expressed under the initial and a reference probability space via Girsanov's measure transformation. Under global convexity conditions, we show that that PbP optimality implies team optimality. In addition, we also show existence of team and PbP optimal relaxed decentralized strategies (conditional distributions), in the weak$^*$ sense, without imposing convexity on the action spaces of the team members. Moreover, using the embedding of regular strategies into relaxed strategies, we also obtain team and PbP optimality conditions for regular team strategies, which are measurable functions of decentralized information structures, and we use the Krein-Millman theorem to show realizability of relaxed strategies by regular strategies.

研究动机与目标

• 将静态团队理论推广至具有去中心化噪声信息结构的连续时间随机微分系统的动态团队理论。
• 为分析非线性、连续时间系统中部分共享或延迟信息的去中心化决策问题，建立一个通用框架。
• 在不假设动作空间为凸集的条件下，建立松弛策略与常规策略的存在性与最优性条件。
• 将 Witsenhausen 的等价性概念与 Girsanov 的测度变换统一于动态团队问题之中。
• 为解决工程与网络化系统中的复杂去中心化控制问题提供理论基础。

提出的方法

• 应用 Girsanov 的测度变换，将原始概率测度转换为参考测度，从而将观测与团队决策解耦。
• 通过在维纳测度乘积上的函数空间积分，推广 Witsenhausen 的等价性原理与“公共分母条件”。
• 采用随机庞特里亚金最大值原理，通过由前向与后向随机微分方程（FBSDE）构成的哈密顿系统推导团队最优性。
• 针对每位团队成员的信息结构（包括延迟与部分共享观测），定义条件变分哈密顿函数。
• 引入松弛策略作为弱*拓扑下的条件概率分布，使得在不依赖凸动作空间的条件下仍能获得存在性结果。
• 在全局凸性条件下，建立 PbP 最优性与团队最优性之间的等价性。

实验结果

研究问题

• RQ1 如何将静态团队理论推广至具有去中心化噪声信息的连续时间随机微分系统的动态团队问题？
• RQ2 在具有噪声与延迟观测的非线性、连续时间系统中，PbP 最优性在何种条件下蕴含团队最优性？
• RQ3 如何系统性地应用 Girsanov 的测度变换，以实现决策相关测度与观测过程的解耦？
• RQ4 此类系统中松弛与常规去中心化策略的必要与充分最优性条件是什么？
• RQ5 该框架能否扩展至由跳跃过程或离散时间版本驱动的系统？

主要发现

• 论文通过由前向与后向随机微分方程构成的哈密顿系统建立团队最优性，其中条件变分哈密顿函数根据每位团队成员的信息结构进行定制。
• 在全局凸性条件下，PbP 最优性蕴含团队最优性，为复杂系统中最优性的验证提供了可计算的路径。
• 通过测度论论证，证明了在弱*拓扑下松弛团队与 PbP 最优策略的存在性，即使在动作空间非凸的情况下亦成立。
• 该框架通过在连续时间中利用 Girsanov 变换形式化“公共分母条件”，推广了 Witsenhausen 的等价性概念。
• 通过引用希尔伯特空间与半鞅的现有结果，表明该方法可扩展至具有 Lévy 或泊松跳跃过程的系统。
• 通过离散 Girsanov 变换与离散时间希尔伯特过程的 Riesz 表示定理，该方法可被适配至离散时间系统。