[論文レビュー] Dynamic Team Theory of Stochastic Differential Decision Systems with Decentralized Noisy Information Structures via Girsanov's Measure Transformation

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|Sep 7, 2013

Opinion Dynamics and Social Influence参考文献 60被引用数 10

ひとこと要約

本稿は、Girsanovの測度変換を用いて、分散型ノイズあり情報構造を有する連続時間確率的微分意思決定系へ静的チーム理論を一般化する。関数空間積分と確率的Pontryaginの最大原理の2つの手法を導入し、全般的な凸性のもとで緩和チーム戦略およびPbP最適戦略の存在を証明するとともに、条件付きハミルトニアンと前向き・後ろ向きSDEを用いてチーム最適性を確立する。

ABSTRACT

In this paper, we present two methods which generalize static team theory to dynamic team theory, in the context of continuous-time stochastic nonlinear differential decentralized decision systems, with relaxed strategies, which are measurable to different noisy information structures. For both methods we apply Girsanov's measure transformation to obtain an equivalent dynamic team problem under a reference probability measure, so that the observations and information structures available for decisions, are not affected by any of the team decisions. The first method is based on function space integration with respect to products of Wiener measures, and generalizes Witsenhausen's [1] definition of equivalence between discrete-time static and dynamic team problems. The second method is based on stochastic Pontryagin's maximum principle. The team optimality conditions are given by a "Hamiltonian System" consisting of forward and backward stochastic differential equations, and a conditional variational Hamiltonian with respect to the information structure of each team member, expressed under the initial and a reference probability space via Girsanov's measure transformation. Under global convexity conditions, we show that that PbP optimality implies team optimality. In addition, we also show existence of team and PbP optimal relaxed decentralized strategies (conditional distributions), in the weak$^*$ sense, without imposing convexity on the action spaces of the team members. Moreover, using the embedding of regular strategies into relaxed strategies, we also obtain team and PbP optimality conditions for regular team strategies, which are measurable functions of decentralized information structures, and we use the Krein-Millman theorem to show realizability of relaxed strategies by regular strategies.

研究の動機と目的

• 分散型ノイズあり情報構造を有する連続時間確率的微分システムにおける静的チーム理論を動的チーム理論へ拡張すること。
• 部分的に共有されたり遅延がある情報を持つ非線形連続時間システムにおける分散型意思決定の分析のための一般枠組みを構築すること。
• 凸な行動空間を仮定しないで、緩和戦略および通常の戦略の存在および最適性条件を確立すること。
• Witsenhausenの同等性概念とGirsanovの測度変換を、動的チーム問題に統合すること。
• 工学的およびネットワーキングシステムにおける複雑な分散型制御問題を解くための基盤を提供すること。

提案手法

• 元の確率測度を参照測度に変換するGirsanovの測度変換を適用し、観測とチーム意思決定を分離する。
• ウィーナー測度の直積上の関数空間積分を用いて、Witsenhausenの同等性原理および「共通分母条件」を一般化する。
• 前向き・後ろ向き確率的微分方程式（FBSDE）から成るハミルトニアン系を用いて、確率的Pontryaginの最大原理を適用し、チーム最適性を導出する。
• 各チームメンバーの情報構造（遅延および部分共有観測を含む）に対する条件付き変分的ハミルトニアンを定義する。
• 弱*位相における条件付き確率測度として緩和戦略を定義し、凸な行動空間がなくても存在結果を得る。
• 全般的な凸性条件下で、Person-by-Person（PbP）最適性とチーム最適性が等価であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 静的チーム理論は、分散型ノイズあり情報構造を有する連続時間確率的微分システムにおける動的チーム問題へどのように一般化可能か？
• RQ2 ノイズありおよび遅延観測を伴う非線形連続時間システムにおいて、PbP最適性がチーム最適性を意味するのはどのような条件下か？
• RQ3 Girsanovの測度変換は、意思決定依存測度と観測過程を分離するために、どのように体系的かつ一貫して適用可能か？
• RQ4 このようなシステムにおける緩和および通常の分散型戦略の必要十分最適性条件は何か？
• RQ5 この枠組みは、ジャンプ過程を駆動とするシステムや離散時間アナロジーへ拡張可能か？

主な発見

• 本稿は、各チームメンバーの情報構造に適合した条件付き変分的ハミルトニアンを備えた、前向き・後ろ向き確率的微分方程式（FBSDE）から成るハミルトニアン系を通じてチーム最適性を確立する。
• 全般的な凸性のもとで、PbP最適性はチーム最適性を意味し、複雑なシステムにおける最適性の検証に実用的な道筋を提供する。
• 測度論的議論を用いて、凸な行動空間がなくても、弱*位相において緩和チームおよびPbP最適戦略の存在が証明される。
• Girsanovの変換による連続時間における「共通分母条件」の形式的定式化を通じて、Witsenhausenの同等性概念が一般化される。
• Hilbert空間および半マルティンゲールに関する既存の結果を参照することで、Lévyまたはポアソンのジャンプ過程を駆動とするシステムへの拡張が可能であることが示される。
• 離散時間Hilbert過程におけるRieszの表現定理を用いた離散Girsanov変換により、本手法は離散時間系へ適応可能である。