[論文レビュー] Risk-Sensitive Mean-Field-Type Control

Alain Bensoussan, Boualem Djehiche+2 more|arXiv (Cornell University)|Jan 1, 2017

Stochastic processes and financial applications参考文献 1被引用数 5

ひとこと要約

本稿は、係数およびコスト関数が状態、制御、初期分布の分布に依存する確率的微分方程式に対するリスクセンシティブな平均場型最適制御フレームワークを構築する。双対HJB（Hamilton-Jacobi-Bellman）およびFokker-Planck（FP）系を用いて、確率的最適性原理に基づき、ベルマン双対関数と随伴過程を無限次元空間で結ぶ無限次元最適性方程式を導出する。線形指数型2次形式の場合には明示的解が得られ、リスク感受性パラメータが小さい場合の漸近的近似も提示する。

ABSTRACT

We study risk-sensitive optimal control of a stochastic differential equation (SDE) of mean-field type, where the coefficients are allowed to depend on some functional of the law as well as the state and control processes. Moreover the risk-sensitive cost functional is also of mean-field type. We derive optimality equations in infinite dimensions connecting dual functions associated with Bellman functional to the adjoint process of the Pontryagin maximum principle. The case of linear-exponentiated quadratic cost and its connection with the risk-neutral solution is discussed.

研究の動機と目的

• 動的システムおよびコスト関数が状態および制御の分布に依存する平均場型システムへのリスクセンシティブ制御の拡張を目的とする。
• 確率的最適性原理を用いて、無限次元空間におけるベルマン関数と随伴過程の双対性を確立する。
• 線形指数型2次形式のケースを解析し、リスク感受性パラメータが小さい場合の明示的解および近似を導出する。
• リスク感受性パラメータα → 0の極限において、リスクニュートラル解への収束を明らかにする。

提案手法

• リスクセンシティブな平均場制御に適した、双対HJB（dHJB）およびFokker-Planck（FP）方程式の組み合わせを導入する。
• リスクセンシティブコストを終状態関数に変換するために、補助過程z(t) = ∫₀ᵗ f(x(s),v(s))dsを導入することで状態拡張を行う。
• 拡張された状態(x(t), z(t))に対して動的プログラミングを適用し、値関数Φα(x,z,t)のベルマン方程式を導出する。
• 変数分離Φα(x,z,t) = e^{αz} uα(x,t)を仮定することで、uαの解法可能な形へのPDEの簡略化を実現する。
• Itôの公式を比率Dxu / Dzuに適用し、随伴過程(p,q,l)を導出する。これにより、π(t)およびω(t)のリッカティ型方程式が得られる。
• β（分布依存パラメータ）が小さい場合の漸近的近似を、摂動アンザッツuβ(x,z,t) = e^{αβy(T)} ˜u(x,z,t)を用いて構築する。ここで、˜uはˆuによって近似される。

実験結果

リサーチクエスチョン

• RQ1 状態および制御プロセスの分布に依存する係数およびコスト関数を持つ場合、リスクセンシティブな平均場制御はどのように定式化できるか？
• RQ2 確率的最適性原理フレームワークにおいて、双対ベルマン関数と随伴過程を結ぶ無限次元最適性系はどのようなものか？
• RQ3 リスク感受性パラメータα → 0の極限において、リスクセンシティブ解はリスクニュートラル解にどのように収束するか？
• RQ4 β（分布依存パラメータ）が小さい場合の線形指数型2次形式に対して、明示的解および近似はどのようなものか？
• RQ5 π(t)およびω(t)のリッカティ方程式は、リスクセンシティブ設定下での最適制御および状態ダイナミクスをどのように支配するか？

主な発見

• リスクセンシティブな値関数は、vα = Dzu(0,x₀,0)/α = χ(0)/αとして明示的に与えられ、ここでχ(0)は双対過程の初期値である。
• 最適制御は比p = Dxu / Dzuによって特徴付けられ、これはリッカティ解π(t)およびω(t)によって駆動される確率的微分方程式を満たす。
• 期待状態y(t) = E[x(t)]は、ODE ẏ = (a − b²π)y − βb²ωχ(0)E[χ⁻¹(t)]を満たし、リスク感受性および分布構造に依存する。
• βが小さい場合、値関数はˆu(x,z,t) = u₀(x,z,t) + αβxω(t)λ(T)で近似可能であり、ここでω(t) = exp(∫ₜᵀ [a − b²Π(s)]ds)である。この近似により、取り扱いやすさが向上する。
• 分布依存測度µの近似は、漂移(a − b²Π)xおよび拡散b²Π²x²を有するFokker-Planck方程式を満たすˆµによって支配され、E[x(t)]の明示的計算が可能になる。
• t = Tにおける漸近的近似は一貫しており、誤差項はO(β²)である。これにより、βが小さい場合の摂動的アプローチの妥当性が裏付けられる。