[論文レビュー] Classical Adjoints for Ergodic Stochastic Control

Samuel N. Cohen, Victor Fedyashov|arXiv (Cornell University)|Nov 13, 2015

Stochastic processes and financial applications参考文献 9被引用数 3

ひとこと要約

本稿は、無限時間枠の随伴後向きストキャスティック微分方程式（BSDE）の解の存在と、エルゴディック確率的制御における制御された拡散過程の強い発散性の間の強い双対性を確立する。強発散性が、非可約性、強いFeller性、指数的エルゴディシティを示すことを証明し、漂移項と拡散項の両方を制御する強い定式化において、最適性のための随伴BSDEの使用を正当化する。

ABSTRACT

In this paper we consider ergodic optimal control of a diffusion process $\{X^u_t\}_{t \geq 0}$, taking values in $\bR^n$, where both drift and volatility are controlled. We establish a novel strong duality between the existence of a unique solution to the infinite horizon adjoint BSDE and strong dissipativity of $X^u$. We then proceed to show that the latter implies irreducibility, the strong Feller property and exponential ergodicity. We conclude by discussing the connection with ergodic BSDEs.

研究の動機と目的

• 漂移項と拡散項の両方を制御するエルゴディック確率的制御問題に取り組み、測度変更に基づく弱い定式化を超えること。
• 無限時間枠の随伴BSDEの可解性と前向き過程のエルゴディック性の間の厳密な関係を確立すること。
• 漂移項の強い発散性が、制御された拡散過程の非可約性、強いFeller性、および指数的エルゴディシティを保証することを証明すること。
• 制御が漂移項と拡散項の両方の両方に及ぶ場合においても、随伴BSDEアプローチが強い定式化で有効であることを示すこと。
• 強い制御設定におけるエルゴディックBSDEの限界を明確にし、拡散項が制御される場合に、標準的エルゴディックBSDEアプローチが最適性条件の完全な記述を捉えられない理由を示すこと。

提案手法

• エルゴディック制御に適した、新規の無限時間枠の随伴BSDEを、確率的最適制御の最大原理フレームワークから導出する。
• 漂移項における強い発散性条件を用いる：⟨b(t,x,u)−b(t,y,u),x−y⟩ ≤ −μ‖x−y‖²（μ>0）。
• Grönwallの補題と安定性評価を用いて、制御下での前向き過程のモーメントバウンドを確立する。
• 双対性を通じて、随伴BSDEの解の存在が前向き過程のエルゴディシティと関連することを結びつける。
• 消える割引法を用いてエルゴディックBSDEの解を構成し、それらを長期間平均コストと関連付ける。
• 周期性仮定（仮定5）を用いて不変測度の存在を保証し、エルゴディック平均λᵘを長期間コストとして特定する。

実験結果

リサーチクエスチョン

• RQ1 漂移項と拡散項の両方を制御する場合に、エルゴディック制御における随伴BSDEが存在する条件は何か？
• RQ2 随伴BSDEの可解性は、前向き拡散過程のエルゴディック性とどのように関連するか？
• RQ3 漂移項の強い発散性は、一般の制御設定において指数的エルゴディシティ、非可約性、強いFeller性を示せるか？
• RQ4 拡散項が制御される場合、標準的エルゴディックBSDEアプローチがなぜ不十分なのか？
• RQ5 随伴BSDEの解とエルゴディック制御問題における長期間平均コストの間にはどのような関係があるか？

主な発見

• 無限時間枠の随伴BSDEの解の存在は、すべての制御下での前向き過程の強い発散性と同値である。
• 強い発散性は、制御された拡散過程が非可約であり、強いFeller性を満たすことを示す。
• 強い発散性は、過程の法則が不変測度に指数関数的に収束することを意味する指数的エルゴディシティをもたらす。
• 長期間平均コストλᵘ（エルゴディック制御問題における最適値）は、周期性仮定の下でエルゴディックBSDEの解λᵘに等しい。
• 随伴BSDEアプローチは、拡散項が制御される場合でさえ、強い定式化で有効である。これは、測度変更に基づく弱い定式化とは対照的である。
• 本稿は、漂移項と拡散項の両方が制御される場合、拡散項の制御に起因するマルティンゲール表現の欠如のため、エルゴディックBSDEのみでは最適性条件の完全な記述が不可能であることを示している。