[論文レビュー] Partially Observed Optimal Control for Mean-Field SDEs

Maonin Tang, Qingxin Meng|arXiv (Cornell University)|Oct 8, 2016

Stochastic processes and financial applications参考文献 10被引用数 6

ひとこと要約

本稿は、状態と観測の両方の係数が制御とその分布に依存し、観測ノイズが状態に影響を与える非線形平均場SDEに従う部分観測最適制御問題に対する確率的最適性原理を確立する。主な貢献は、線形・二次的設定におけるリカッチ方程式と平方完成の技法を用いて、最適制御の双対的特徴付けと明示的な状態フィードバック表現を導出することにある。

ABSTRACT

In this paper, we are concerned with a stochastic optimal control problem of mean-field type under partial observation, where the state equation is governed by the controlled nonlinear mean-field stochastic differential equation, moreover the observation noise is allowed to enter into the state equation and the observation coefficients may depend not only on the control process and but also on its probability distribution. Under standard assumptions on the coefficients, by dual analysis and convex variation, we establish the maximum principle for optimal control in a strong sense as well as a weak one, respectively. As an application, a partially observed linear quadratic control problem of mean-field type is studied detailed and the corresponding dual characterization and state feedback presentation of the partially observed optimal control are obtained by the stochastic maximum principles and the classic technique of completing squares.

研究の動機と目的

• 制御の分布に依存する状態および観測ダイナミクスを有する部分観測下における平均場型確率的最適制御問題に取り組む。
• 不完全情報下での平均場設定への確率的最適性原理の拡張を図り、観測ノイズが状態に影響を与える状況を許容する。
• 随伴方程式とギルサノフの定理を用いて、部分観測平均場設定における最適制御の双対的特徴付けを導出する。
• 線形・二次的ケースにおいて、リカッチ方程式を用いて部分観測下での状態フィードバック形式による最適制御の表現を提供する。
• 部分観測下における前向き・後ろ向き平均場系の解と最適制御との関係を確立する。

提案手法

• 強い形および弱いい形の両方における最適性の必要条件を導出するために、双対解析と凸変動を適用する。
• 確率測度の変換を可能にするギルサノフの定理を用いて、部分観測設定を扱う。
• 状態および観測が分布に依存する平均場型問題に対して、随伴後向き確率微分方程式（BSDE）を導出する。
• コスト関数に対して平方完成の技法を適用し、最適制御の明示的フィードバック形式を導出する。
• 線形・二次的ケースにおける最適制御の状態フィードバック表現を求めるために、リカッチ方程式を解く。
• 条件付き期待値を用いた随伴過程の性質を用いて、最適制御の双対的特徴付けを確立する。

実験結果

リサーチクエスチョン

• RQ1 部分観測下における平均場型最適制御問題に、確率的最適性原理をどのように拡張できるか。
• RQ2 観測ノイズが状態に影響を与え、かつ観測係数が制御の分布に依存する場合、最適性の必要条件は何か。
• RQ3 部分観測平均場設定において、最適制御の双対的特徴付けを導出可能か。
• RQ4 線形・二次的平均場問題において、部分観測下での最適制御を状態フィードバック形式でどのように表現できるか。
• RQ5 リカッチ方程式は、線形・二次的ケースにおける最適制御およびコストの特徴付けにおいて、どのように機能するか。

主な発見

• 最適制御は、強い形および弱いい形の両方における最適性原理を用いて導出された、随伴過程の条件付き期待値を含む双対的表現を有する。
• 線形・二次的ケースにおいて、最適制御は2つのリカッチ方程式の解を含む状態フィードバック則として明示的に与えられる。
• リカッチ方程式 (4.20) と (4.21) は、フィードバックゲインの時間発展を支配し、それぞれ終期条件 M₁ および M₁+M₂ を持つ。
• 最小コストは ⟨Π(0)x, x⟩ で与えられ、ここで Π(0) は時間ゼロにおける2番目のリカッチ方程式の解である。
• 状態フィードバック表現 (4.18) は、制御を2つの部分に分離する：1つは観測に基づく状態の条件付き期待値に依存し、もう1つは無条件期待値に依存する。
• 導出プロセスはコスト関数における平方完成と、部分観測下での期待コスト最小化に用いられるカラニペル・ストリーベルの公式に依存する。