[論文レビュー] Ergodic BSDEs driven by Markov Chains

Samuel N. Cohen, Ying Hu|arXiv (Cornell University)|Jul 24, 2012

Stochastic processes and financial applications参考文献 15被引用数 4

ひとこと要約

本稿では、リプシッツ連続なドライバーが比較定理を満たす一様エルゴード的で可算状態をとるマコフ連鎖によって駆動されるエルゴード的後向き確率微分方程式（EBSDE）に対して、有界なマルコフ的解の存在と一意性を確立する。主な貢献は、基礎となる連鎖の一様エルゴード性がレート行列の摂動のもとでも保存されることを示したことであり、これによりカップリングおよびスプリッティング技術を用いたEBSDE解の構築が可能になる。応用としては、リスク回避的エルゴード的制御に向けたものである。

ABSTRACT

We consider ergodic backward stochastic differential equations, in a setting where noise is generated by a countable state uniformly ergodic Markov chain. We show that for Lipschitz drivers such that a comparison theorem holds, these equations admit unique solutions. To obtain this result, we show by coupling and splitting techniques that uniform ergodicity estimates of Markov chains are robust to perturbations of the rate matrix, and that these perturbations correspond in a natural way to EBSDEs. We then consider applications of this theory to Markov decision problems with a risk-averse average reward criterion.

研究の動機と目的

• ノイズが一様エルゴード的で可算状態をとるマコフ連鎖によって生成される場合に、エルゴード的BSDE（EBSDE）に対する有界なマルコフ的解の存在と一意性を確立すること。
• マコフ連鎖の一様エルゴード性推定が、レート行列の摂動に対してどのようにロバストであるかを示すこと。これはEBSDEに自然に現れる。
• EBSDEと非線形期待値の間の関係を活用することで、EBSDE理論を非線形的でリスク回避的な制御問題へと拡張すること。
• 平均報酬基準に基づく無限時間ホライズン最適制御問題を、リスク回避的条件下で解くための枠組みを提供すること。バランスドドライバーを有するEBSDEを用いる。

提案手法

• カップリングおよびスプリッティング技術（ヌンメリン・スプリッティング）を用いて、マコフ連鎖のレート行列の摂動のもとでの一様エルゴード性のロバスト性を分析する。
• 小さな摂動が一様エルゴード性を保つことを定量化するための、レート行列に対する新しい部分順序を導入する。これにより、エルゴード性推定の安定性が保証される。
• 割引付きBSDEの理論を用いて、時間不変かつマルコフ的解を導出し、時間ホライズンが無限大に近づく際にエルゴード極限に収束することを示す。
• 状態依存コストとレート行列の摂動を組み合わせたドライバー関数 f(x,z) を構築し、リスク回避的ダイナミクスを捉える。これにより非線形期待値のモデリングが可能になる。
• BSDEの比較定理を用いて、リプシッツ連続かつバランスドなドライバー条件のもとで解の一意性を保証する。
• EBSDEの解を最適制御に応用する際、長期間平均コスト λ を解の成分として特定し、価値関数をドライバー f から導出する。

実験結果

リサーチクエスチョン

• RQ1 一様エルゴード的マコフ連鎖によって駆動されるエルゴード的BSDEが、有界なマルコフ的解を一意に持つための条件は何か？
• RQ2 マコフ連鎖のレート行列の摂動がその一様エルゴード性に与える影響は何か？ そして、そのロバスト性はどのように定量化できるか？
• RQ3 EBSDEは、複数の可能なレート行列の上での非線形期待値を含むコスト関数を持つ、リスク回避的エルゴード的制御問題をモデル化するために用いることができるか？
• RQ4 EBSDEにおけるエルゴードコスト λ と、制御付きマコフ決定過程における最適な長期間平均報酬との関係は何か？

主な発見

• リプシッツ連続なドライバーが比較定理を満たすEBSDEは、一様エルゴード的で可算状態をとるマコフ連鎖によって駆動される場合、有界なマルコフ的解を一意に持つ。
• 基礎となるマコフ連鎖の一様エルゴード性は、レート行列の小さな摂動に対しても保存され、これは新しいレート行列の部分順序によって定量化されている。
• EBSDEにおけるエルゴードコスト λ は、関連するマコフ決定問題における最適な長期間平均コストに正確に一致し、リスク回避的制御問題の解法を可能にする。
• EBSDEの解は、単一の非線形ベクトル方程式を用いて計算可能であり、特定の状況では明示的な計算が可能である。
• レート行列の不確実性を一連の行列の族としてモデル化することで、リスク回避的制御が自然に扱える。ドライバー f は、これらの行列上での最悪ケースまたは非線形期待値を捉えている。
• バランスドドライバーを用いることで非線形期待値への拡張が可能であり、追加の構造的制約のもとで一様エルゴード性仮定を幾何的エルゴード性へ弱める場合でも理論はロバストである。