[論文レビュー] On a General Dynamic Programming Approach for Decentralized Stochastic Control

Serdar Yüksel|arXiv (Cornell University)|Mar 15, 2018

Economic theories and models被引用数 1

ひとこと要約

本稿では、標準的ボレル空間を備えた分散型確率的制御問題に対して、可測戦略的測度に基づく新しい状態-行動定式化を用いた、一般化された動的計画法フレームワークを提示する。このフレームワークは、適度な連続性およびコンパクト性条件の下で、最適チーム方策の存在を保証する新たな存在結果を確立し、特に独立測定を持つ静的チームおよび静的還元が可能な動的チームに対して有効である。

ABSTRACT

For sequential stochastic control problems with standard Borel measurement and control action spaces, we introduce a very general dynamic programming formulation, establish its well-posedness, and provide new existence results for optimal policies. Our dynamic program builds in part on Witsenhausen's standard form, but with a different formulation for the state, action, and transition dynamics. Using recent results on measurability properties of strategic measures in decentralized control, we obtain a controlled Markov model with standard Borel state and state dependent action sets. This allows for a well-posed formulation for the controlled Markov model for a general class of sequential decentralized stochastic control in that it leads to well-defined dynamic programming recursions through universal measurability properties of the value functions for each time stage. Through this formulation, new existence results are obtained for optimal team policies in decentralized stochastic control. These state that for a static team with independent measurements, it suffices for the cost function to be continuous in the actions for the existence of an optimal policy under mild compactness conditions. These also apply to dynamic teams which admit static reductions with independent measurements through a change of measure transformation. We show through a counterexample that weaker conditions may not lead to existence of an optimal team policy. In particular, the paper presents existence results which complement and generalize those previously reported.

研究の動機と目的

• 標準的ボレル空間を有する逐次的分散型確率的制御問題に対して、適切に定式化された動的計画法の定式化を構築すること。
• 弱い条件の下で分散型確率的制御における最適チーム方策の存在を確立すること。
• 可測戦略的測度と状態依存行動集合を活用することで、先行研究の存在結果を一般化すること。
• 特に独立測定を持つ静的チームに対して、最適方策の存在を保証する最小限の条件を同定すること。
• 反例を通じて、連続性やコンパクト性条件を弱めた場合に最適方策の存在が保証されない可能性があることを示すこと。

提案手法

• 標準的ボレル状態と状態依存行動集合を備えた制御付きマルコフモデルを用いて問題を定式化すること。
• Witsenhausenの標準形とは異なる方法で状態、行動、遷移ダイナミクスを再定式化し、各時刻における価値関数の普遍的可測性を保証すること。
• 分散制御における戦略的測度の可測性に関する最近の結果を活用し、問題の適切な定式化を確保すること。
• 各時刻における価値関数の普遍的可測性を根拠に、動的計画法の再帰的関係を確立すること。
• 特定の動的チームを独立測定を持つ静的チームに還元するための測度変換変換を適用すること。
• 行動に関するコスト関数の連続性と弱いコンパクト性仮定を用いて、最適方策の存在を証明すること。

実験結果

リサーチクエスチョン

• RQ1 標準的ボレル空間を有する分散型確率的制御問題において、最適チーム方策が存在する条件は何か？
• RQ2 広範なクラスの分散型確率的制御問題に対して、適切に定式化された動的計画法の定式化を構築できるか？
• RQ3 静的チームで独立測定が与えられる場合、コスト関数および行動集合に対する最小限の仮定は何か？ これにより最適方策の存在が保証される。
• RQ4 状態依存行動集合と可測戦略的測度は、動的計画法の適切な定式化にどのように寄与するか？
• RQ5 連続性やコンパクト性条件を弱めた場合、存在証明においてどのような制限が生じるか？

主な発見

• 可測戦略的測度を用いることで、一般化された逐次的分散型確率的制御問題のクラスに対して、適切に定式化された動的計画法の定式化が確立された。
• 各時刻における価値関数は普遍的可測であるため、有効な動的計画法の再帰的関係が構築可能である。
• 独立測定を持つ静的チームでは、行動に関するコスト関数の連続性と弱いコンパクト性条件が、最適方策の存在を保証するのに十分である。
• 測度変換変換により静的還元が可能な動的チームに対しても、結果は拡張可能である。
• 反例により、連続性やコンパクト性よりも弱い条件では、最適方策の存在が保証されない可能性があることが示された。
• 本研究の結果は、分散型確率的制御における既存の存在結果を一般化し、補完するものである。