[論文レビュー] Convexity of a stochastic control functional related to importance sampling of Itô diffusions

Han Cheng Lie|arXiv (Cornell University)|Mar 18, 2016

Probability and Risk Models被引用数 5

ひとこと要約

本稿は、イト拡散における重要度サンプリングの文脈で生じる確率的制御関数の厳密な凸性を、カザマキの条件とフレドホルム理論を用いた2次変動解析によって確立する。主な結果として、ホルダー連続性および有界領域の仮定の下で、制御関数は厳密に凸であることが示され、ハミルトニアン・ヤコビ・ベルマン方程式の次元に依存しない解法が凸最適化およびモンテカルロ法によって可能となる。

ABSTRACT

We consider the problem of rare event importance sampling, where the random variable of interest is a path functional of an Itô diffusion computed up to the first exit from a $d$-dimensional bounded domain. Dupuis and Wang ( extit{Ann. Appl. Probab.}, 15 (2005), pp. 1-38) studied the importance sampling problem by formulating it as a stochastic optimal control problem, where the value function is related to the conditional cumulant generating function of the random variable. In this paper, we show that the sufficient conditions for the value function to be twice-differentiable and $α$-uniformly Hölder continuous on the closure of the domain are also sufficient conditions for positive definiteness of the second variation of the control functional on the space of differentiable, $α$-uniformly Hölder continuous $\mathbb{R}^d$-valued feedback controls. We derive an expression for the second variation using Kazamaki's sufficient condition for $L^q$-boundedness of exponential martingales, and using Fredholm theory to prove the finiteness of the moment generating function of the first exit time over any bounded interval containing the origin. The strict convexity result suggests that one may be able to solve the corresponding Hamilton-Jacobi-Bellman boundary value problem in a dimension-robust way, by combining convex optimisation and Monte Carlo methods. We apply the result to analyse a gradient descent algorithm proposed by Hartmann and Schütte ( extit{J. Stat. Mech. Theor. Exp.} (2012), P11004) for efficient rare event simulation.

研究の動機と目的

• レアイベントの重要度サンプリングにおける確率的制御関数が厳密に凸となる十分条件を確立すること。
• 指数マーティンゲールの有界性とフレドホルム理論を用いて、制御関数の2次変動を分析すること。
• 凸性の結果を高次元におけるハミルトニアン・ヤコビ・ベルマン（HJB）境界値問題の可解性と結びつけること。
• ハートマンとシューティンの提唱した、レアイベントシミュレーションのための勾配降下法に理論的枠組みを適用して検証すること。
• 厳密凸性が有限次元部分空間における一意最小化子への収束を保証することにより、頑健な数値解法戦略を可能にすること。

提案手法

• カザマキの指数マーティンゲールのL^q有界性の十分条件を用いて、制御関数の2次変動を導出する。
• フレドホルム理論を適用して、ゼロを含む有界区間における最初の抜出自時刻のモーメント母関数の有限性を証明する。
• 値関数の一様ホルダー連続性の下で、指数マーティンゲールのL^2有界性を確立する。
• 終端コストに対する決定的下界を用いて、2次変動の正定値性を保証する。
• 有限次元部分空間におけるフィードバック制御の近似誤差を推定するために、パオンカーリング不等式に依存する。
• 制限された関数の唯一の最小化子とマルコフ型フィードバック制御部分空間における最良近似との関係を結ぶ。

実験結果

リサーチクエスチョン

• RQ1 イト拡散の重要度サンプリングにおける確率的制御関数がどのような条件下で厳密に凸になるか。
• RQ2 指数マーティンゲール理論を用いて、制御関数の2次変動を明示的に特徴づけられるか。
• RQ3 関数の厳密凸性が、有限次元部分空間における勾配降下法の収束を一意最小化子へ保証するか。
• RQ4 凸性の結果が、ハミルトニアン・ヤコビ・ベルマン方程式の次元に依存しない解法をどのように可能にするか。
• RQ5 フィードバック制御部分空間の近似精度とHJB方程式の解におけるL^p誤差の関係は何か。

主な発見

• 値関数が2回微分可能で、有界なC^{2,α}領域の閉包上でα-一様ホルダー連続であれば、制御関数は厳密に凸である。
• 終端コストに対する決定的下界のおかげで2次変動が正定値となり、次元dに依存しない厳密凸性が保証される。
• フレドホルム理論と指数マーティンゲールのL^2有界性のおかげで、ゼロを含む任意の有界区間における最初の抜出自時刻のモーメント母関数は有限である。
• 一意の均衡制御a_∞は、マルコフ型フィードバック制御部分空間における最適制御の最良近似を提供し、その誤差はパオンカーリング不等式で上限が与えられる。
• 凸最適化とモンテカルロ法を組み合わせることで、HJB境界値問題を次元に依存しない方法で解くことができる。
• 厳密凸性の結果により、無限大の標本サイズと無限小のステップサイズの極限において、勾配降下法が唯一の最小化子に収束することが保証される。