[論文レビュー] Geometry of Information Structures, Strategic Measures and associated Control Topologies

Naci Saldı, Serdar Yüksel|arXiv (Cornell University)|Oct 14, 2020

Computability, Logic, AI Algorithms参考文献 126被引用数 8

ひとこと要約

本稿は、さまざまな情報構造下における分散型制御および意思決定を分析するための幾何学的・位相的枠組みを構築し、古典的、緩和的、量子的、非信号伝播的という戦略的測度の階層を導入し、それらの凸性、コンパクト性、閉性の性質を証明する。非信号伝播的緩和は、線形計画法によりタイトな下界を得られる凸で閉じた集合をもたらすことが示され、ウィッツェンハウゼンの逆例や情報制約下での最適制御への応用が行われる。

ABSTRACT

In many areas of applied mathematics, engineering, and social and natural sciences, decentralization of information is a key aspect determining how to approach a problem. In this review article, we study information structures in a probability theoretic and geometric context. We define information structures, place various topologies on them, and study closedness, compactness and convexity properties on the strategic measures induced by information structures and decentralized control/decision policies under varying degree of relaxations with regard to access to private or common randomness. Ultimately, we present existence and tight approximation results for optimal decision/control policies. We discuss various lower bounding techniques, through relaxations and convex programs ranging from classically realizable and classically non-realizable (such as quantum and non-signaling) relaxations. For each of these, we establish closedness and convexity properties and also a hierarchy of correlation structures. As a second main theme, we review and introduce various topologies on decision/control strategies defined independent of information structures, but for which information structures determine whether the topologies entail utility in arriving at existence, compactness, convexification or approximation results. These approaches, which we term as the strategic measures approach and the control topology approach, lead to complementary results on existence, approximations and upper and lower bounds in optimal decentralized decision and control.

研究の動機と目的

• 分散型意思決定および制御問題における情報構造を統一的な確率論的・幾何的枠組みで分析するためのフレームワークの構築。
• ランダムネスおよび情報共有の異なる緩和の下での戦略的測度の位相的性質（閉性、凸性、コンパクト性）の特定。
• 分散型確率的制御における最適方策の存在、近似、凸化に関する結果の確立。
• 情報構造に依存しない制御トポロジーの導入と分析を行い、情報制約がコンパクト性および近似の達成にどのように寄与するかを示す。
• 非信号伝播的および量子的緩和を用いて、最適制御問題に対するタイトな下界を提供する。特にウィッツェンハウゼンの逆例のような困難なケースに応用する。

提案手法

• 局所観測値および行動の条件付き分布として情報構造を定義し、部分的情報下での分散型意思決定をモデル化する。
• 戦略的測度集合の階層を導入する：$L_A(\mu)$（許容的）、$L_R(\mu)$（私的ランダムネスを伴う緩和）、$L_C(\mu)$（共通ランダムネス）、$L_Q(\mu)$（量子）、$L_{NS}(\mu)$（非信号伝播的）、$L_M(\mu)$（マルコフ的）。
• 位相的性質を分析する：$L_{NS}(\mu)$ および $L_M(\mu)$ は閉かつ凸である。$L_C(\mu)$ は凸であるが、一般には閉ではない。$L_A(\mu)$ および $L_R(\mu)$ はどちらも閉でも凸でもない。
• 最適制御問題を、$L_{NS}(\mu)$ 上での線形計画問題として定式化し、線形作用素 $L$ を用いて条件付き独立性および非信号伝播的制約を符号化する。
• 最適コストの下界を計算するための双対問題 $(\textbf{NS}^*)$ を導出する。双対変数は方策の構造的制約を符号化する。
• 緩和された制御方策および弱-*位相を用いて、情報制約下での最適戦略の収束および近似を分析する。

実験結果

リサーチクエスチョン

• RQ1 異なる情報構造および緩和の下で誘導される戦略的測度の位相的および幾何的性質（閉性、凸性、コンパクト性）は何か？
• RQ2 非信号伝播的および量子的緩和は、分散型制御問題における近似および下界の改善にどのように寄与するか？
• RQ3 非信号伝播的緩和は、ウィッツェンハウゼンの逆例に対してタイトな下界を提供できるか？また、それは古典的最適コストと一致する条件は何か？
• RQ4 非信号伝播的方策下での最適コストが、古典的または量子的方策下での最適コストと等しくなる条件は何か？
• RQ5 情報構造に依存しない制御トポロジーは、情報制約下で、存在性、コンパクト性、近似に関する結果をどのように実現するか？

主な発見

• 非信号伝播的戦略的測度 $L_{NS}(\mu)$ は閉かつ凸であるため、強力な近似および双対性に関する結果が得られる。
• 非信号伝播的方策下での最適コストは、$L_{NS}(\mu)$ 上での線形計画問題の解によって下界で抑えられ、数値的に解くことでタイトな下界が得られる。
• 双対問題 $(\textbf{NS}^*)$ は最適コストの計算可能な下界を提供し、双対変数は方策の構造的制約を符号化する。
• コスト関数に $u^1 u^2$ 項が存在しない場合、最適方策はアフィン的であり、情報理論的ツールを用いて解析的に扱える。
• コスト関数に $u^1 u^2$ 項が存在しない場合、$L_{NS}(\mu)$ 上での下界は $L_C(\mu)$ 上での下界と一致する。これは、このような場合に等価であることを示唆する。
• 戦略的測度の階層は、$L_{NS}(\mu)$ が $L_C(\mu)$ よりも厳密に大きな凸緩和であるが、最適化に十分な構造を保持していることを明らかにする。