[論文レビュー] Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part I: General Theory

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|Feb 14, 2013

Stochastic processes and financial applications参考文献 38被引用数 9

ひとこと要約

本稿は、分散型ノイズレス情報構造を有する非線形分散確率微分系におけるチーム最適制御および個人別最適制御の必要十分最適性条件を確立する。変分法および半マルティンゲール表現定理を用いて、正規および緩和制御戦略の下で、前向きおよび後向き確率微分方程式（SDE）から成るハミルトニアン系を導出する。これは古典的確率的最適性原理を、一般に損なわれることなく分散型設定へと拡張するものである。

ABSTRACT

Decentralized optimization of distributed stochastic differential systems has been an active area of research for over half a century. Its formulation utilizing static team and person-by-person optimality criteria is well investigated. However, the results have not been generalized to nonlinear distributed stochastic differential systems possibly due to technical difficulties inherent with decentralized decision strategies. In this first part of the two-part paper, we derive team optimality and person-by-person optimality conditions for distributed stochastic differential systems with different information structures. The optimality conditions are given in terms of a Hamiltonian system of equations described by a system of coupled backward and forward stochastic differential equations and a conditional Hamiltonian, under both regular and relaxed strategies. Our methodology is based on the semi martingale representation theorem and variational methods. Throughout the presentation we discuss similarities to optimality conditions of centralized decision making.

研究の動機と目的

• 分散型ノイズレス情報構造を有する分散確率微分系におけるチーム最適性および個人別最適性の体系的フレームワークを構築すること。
• 従来の離散時間定式化の制限を克服し、ノイズレス情報下での古典的確率的最適性原理を分散型設定へと拡張すること。
• 非線形系における正規および緩和制御戦略の下で、必要十分最適性条件を確立すること。
• 適切な変分法および半マルティンゲール道具が用いられる限り、古典的最適化理論が分散型系に対しても適用可能であることを示すこと。
• 第II部において線形および非線形例に閉形式解を適用する理論的基盤を築くこと。

提案手法

• 一般の情報構造下で、システムおよび共役過程のダイナミクスを特徴付けるために半マルティンゲール表現定理を用いる。
• 制御戦略の摂動を介して一次最適性条件を導出するために変分法を適用する。
• 状態および共役過程のための、結合された前向きおよび後向き確率微分方程式（SDE）から成るハミルトニアン系を導出する。
• 分散型情報パターンを反映させるために、条件付きハミルトニアンを導入し、制御方策の非予測性を保証する。
• 正規戦略（決定的制御）および緩和戦略（制御行動上の確率測度）の両方を検討し、最適性条件の一般化を図る。
• フィルトレーションがブラウン運動によって生成されない場合に、直交マルティンゲールおよび修正された共役方程式を組み込むことで、確率的最適性原理を分散型設定に適応する。

実験結果

リサーチクエスチョン

• RQ1 古典的確率的最適性原理は、分散型ノイズレス情報構造を有する非線形分散確率微分系におけるチーム最適制御および個人別最適制御へと拡張可能か？
• RQ2 正規および緩和制御戦略の下で、このような系における必要十分最適性条件は何か？
• RQ3 フィルトレーションがブラウン運動によってのみ生成されない場合、最適性条件はどのように異なるか？
• RQ4 導出されたハミルトニアン系は、中心集権的最適制御をどのように分散型アーキテクチャへと一般化するか？
• RQ5 分散型情報下で非予測的制御方策を保証するために、条件付きハミルトニアンが果たす役割は何か？

主な発見

• チーム最適性は、共役過程が系のノイズおよび直交マルティンゲールによって駆動される後向きSDEを満たす、結合された前向きおよび後向きSDEから成るハミルトニアン系によって特徴づけられる。
• チーム最適性の必要十分条件は、条件付きハミルトニアンを用いて導出され、他の代替制御戦略がより高い期待報酬をもたらさないことを保証する。
• 緩和戦略の下では、最適性条件は最適制御に集中するデルタ関数を含む変分不等式に簡略化され、ハミルトニアンの構造が保持される。
• フィルトレーションがブラウン運動によって生成されない場合、共役方程式はドリフト項および直交マルティンゲール成分を含むように修正され、最適性条件の有効性が保たれる。
• このフレームワークは、古典的確率的最適化理論が中心集権的システムに限定されるものではないことを確認する。本質的な課題は理論的適用性ではなく、実装にある。
• 結果は第II部の基盤をなしており、分散型情報下での特定の線形および非線形チームゲームに対して閉形式解が導出される。