[论文解读] Geometry of Information Structures, Strategic Measures and associated Control Topologies

Naci Saldı, Serdar Yüksel|arXiv (Cornell University)|Oct 14, 2020

Computability, Logic, AI Algorithms参考文献 126被引用 8

一句话总结

本文为在各种信息结构下分析去中心化控制与决策问题，构建了一个几何与拓扑框架，引入了战略测度的层级结构（经典、松弛、量子、非信号），并证明了其凸性、紧致性与闭包性质。研究发现，非信号松弛可产生凸且闭合的集合，从而可通过线性规划获得紧致的下界，该方法在 Witsenhausen 反例及信息约束下的最优控制问题中具有应用价值。

ABSTRACT

In many areas of applied mathematics, engineering, and social and natural sciences, decentralization of information is a key aspect determining how to approach a problem. In this review article, we study information structures in a probability theoretic and geometric context. We define information structures, place various topologies on them, and study closedness, compactness and convexity properties on the strategic measures induced by information structures and decentralized control/decision policies under varying degree of relaxations with regard to access to private or common randomness. Ultimately, we present existence and tight approximation results for optimal decision/control policies. We discuss various lower bounding techniques, through relaxations and convex programs ranging from classically realizable and classically non-realizable (such as quantum and non-signaling) relaxations. For each of these, we establish closedness and convexity properties and also a hierarchy of correlation structures. As a second main theme, we review and introduce various topologies on decision/control strategies defined independent of information structures, but for which information structures determine whether the topologies entail utility in arriving at existence, compactness, convexification or approximation results. These approaches, which we term as the strategic measures approach and the control topology approach, lead to complementary results on existence, approximations and upper and lower bounds in optimal decentralized decision and control.

研究动机与目标

• 开发一个统一的概率论与几何框架，用于分析去中心化决策与控制问题中的信息结构。
• 表征不同随机性与信息共享松弛下战略测度的拓扑性质（闭包性、凸性、紧致性）。
• 建立去中心化随机控制中最优策略的存在性、逼近性与凸化结果。
• 引入并分析独立于信息结构的控制拓扑，阐明信息约束如何决定实现紧致性与逼近性的效用。
• 通过非信号与量子松弛为最优控制问题提供紧致下界，尤其在 Witsenhausen 反例等复杂情形中。

提出的方法

• 将信息结构定义为局部观测与动作之间的条件分布，以建模在部分信息下的去中心化决策过程。
• 引入战略测度集合的层级结构：$L_A(\mu)$（可容许）、$L_R(\mu)$（含私有随机性的松弛）、$L_C(\mu)$（共同随机性）、$L_Q(\mu)$（量子）、$L_{NS}(\mu)$（非信号）、$L_M(\mu)$（马尔可夫性）。
• 分析拓扑性质：$L_{NS}(\mu)$ 与 $L_M(\mu)$ 为闭合且凸集；$L_C(\mu)$ 为凸集但通常不闭合；$L_A(\mu)$ 与 $L_R(\mu)$ 既不闭合也不凸。
• 将最优控制问题表述为在 $L_{NS}(\mu)$ 上的线性规划，利用线性算子 $L$ 编码条件独立性与非信号约束。
• 推导对偶规划 $(\textbf{NS}^*)$，通过对偶变量与约束松弛计算最优代价的下界。
• 利用松弛控制策略与弱-* 拓扑分析在信息约束下最优策略的收敛性与逼近性。

实验结果

研究问题

• RQ1 不同信息结构与松弛方式所诱导的战略测度具有怎样的拓扑与几何性质（闭包性、凸性、紧致性）？
• RQ2 非信号与量子松弛如何改善去中心化控制问题中的逼近性与下界估计？
• RQ3 非信号松弛能否为 Witsenhausen 反例提供紧致下界？其何时与经典最优代价一致？
• RQ4 在何种条件下，非信号策略下的最优代价等于经典或量子策略下的最优代价？
• RQ5 当受信息约束时，独立于信息结构定义的控制拓扑如何实现存在性、紧致性与逼近性结果？

主要发现

• 非信号战略测度集合 $L_{NS}(\mu)$ 为闭合且凸集，从而支持强逼近与对偶性结果。
• 非信号策略下的最优代价由 $L_{NS}(\mu)$ 上的线性规划解提供下界，该问题可数值求解，从而获得紧致下界。
• 对偶规划 $(\textbf{NS}^*)$ 提供了最优代价的可计算下界，其中对偶变量编码了策略的结构性约束。
• 对于不含交叉项 $u^1 u^2$ 的代价函数，最优策略为仿射形式，且可通过信息论工具进行解析求解。
• 当代价函数不含 $u^1 u^2$ 项时，$L_{NS}(\mu)$ 上的下确界等于 $L_C(\mu)$ 上的下确界，表明此类情形下两者等价。
• 战略测度的层级结构表明，$L_{NS}(\mu)$ 提供了一个严格大于 $L_C(\mu)$ 的凸松弛，同时保留了足够的结构以支持优化。