[论文解读] Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part I: General Theory

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|Feb 14, 2013

Stochastic processes and financial applications参考文献 38被引用 9

一句话总结

本文为具有去中心化无噪声信息结构的非线性分布式随机微分系统中的团队最优与个体最优控制，建立了必要且充分的最优性条件。通过变分法与半鞅表示定理，推导出在常规与广义控制策略下耦合的前向与后向随机微分方程（SDE）的哈密顿系统，将经典随机最大值原理推广至去中心化设置，且无一般性损失。

ABSTRACT

Decentralized optimization of distributed stochastic differential systems has been an active area of research for over half a century. Its formulation utilizing static team and person-by-person optimality criteria is well investigated. However, the results have not been generalized to nonlinear distributed stochastic differential systems possibly due to technical difficulties inherent with decentralized decision strategies. In this first part of the two-part paper, we derive team optimality and person-by-person optimality conditions for distributed stochastic differential systems with different information structures. The optimality conditions are given in terms of a Hamiltonian system of equations described by a system of coupled backward and forward stochastic differential equations and a conditional Hamiltonian, under both regular and relaxed strategies. Our methodology is based on the semi martingale representation theorem and variational methods. Throughout the presentation we discuss similarities to optimality conditions of centralized decision making.

研究动机与目标

• 为具有去中心化信息结构的分布式随机微分系统中的团队与个体最优性，建立系统性框架。
• 将经典随机最大值原理推广至无噪声信息下的去中心化设置，克服先前离散时间公式化方法的局限性。
• 为非线性系统在常规与广义控制策略下，建立必要且充分的最优性条件。
• 证明只要适当地运用变分法与半鞅工具，经典优化理论即可适用于去中心化系统。
• 为第二部分奠定理论基础，后者将这些条件应用于线性与非线性情形，并获得闭式解。

提出的方法

• 利用半鞅表示定理，在一般信息结构下刻画系统与伴随过程的动力学。
• 应用变分法，通过控制策略的扰动推导一阶最优性条件。
• 推导出由状态与伴随过程构成的耦合前向与后向随机微分方程（SDE）的哈密顿系统。
• 引入条件哈密顿函数以考虑去中心化信息模式，确保控制策略的非预测性。
• 同时考虑常规策略（确定性控制）与广义策略（控制动作上的概率测度），以推广最优性条件。
• 通过引入正交鞅与修改后的伴随方程，将随机最大值原理适应于去中心化设置，当过滤不是由布朗运动生成时亦适用。

实验结果

研究问题

• RQ1 经典随机最大值原理能否推广至具有去中心化信息结构的非线性分布式随机微分系统中的团队与个体最优控制？
• RQ2 在常规与广义控制策略下，此类系统的必要且充分最优性条件是什么？
• RQ3 当过滤并非仅由布朗运动生成时，最优性条件有何不同？
• RQ4 所推导的哈密顿系统在何种意义上将集中式最优控制推广至去中心化架构？
• RQ5 条件哈密顿函数在去中心化信息下确保非预测性控制策略中起何作用？

主要发现

• 团队最优性由耦合的前向与后向SDE构成的哈密顿系统表征，伴随过程满足由系统噪声与正交鞅驱动的后向SDE。
• 通过条件哈密顿函数，推导出团队最优性的必要且充分条件，确保不存在其他控制策略能带来更高的期望收益。
• 对于广义策略，最优性条件简化为涉及集中在最优控制处的狄拉克测度的变分不等式，同时保持哈密顿结构不变。
• 当过滤非由布朗运动生成时，伴随方程被修改以包含漂移项与正交鞅分量，从而保持最优性条件的有效性。
• 该框架证实经典随机优化理论并非本质上局限于集中式系统；核心挑战在于实现，而非理论适用性。
• 结果为第二部分奠定基础，后者在去中心化信息下为特定线性与非线性团队博弈推导出闭式解。