[論文レビュー] Importance sampling in path space for diffusion processes

Wei Zhang, Carsten Hartmann+2 more|arXiv (Cornell University)|Jan 1, 2013

Advanced Mathematical Modeling in Engineering参考文献 6被引用数 4

ひとこと要約

本稿では、モンテカルロの分散を低減するために制御力を利用した拡散過程のための重要度サンプリング手法を提案する。ハミルトニアン・ジャコビ・ベルマン（HJB）方程式から導かれる最適制御力の近似により、漸近的に最適な推定器が得られ、分散が有界となる。数値例を通じて検証されている。

ABSTRACT

Abstract. Importance sampling is a widely used technique to reduce the variance of the Monte Carlo method. It uses the idea of change of measure to design efficient Monte Carlo estimators. In this work, we study the importance sampling method in the framework of diffusion process and consider the change of measures which can be realized by adding a control force to the original dynamics. For certain exponential-type expectations, the corresponding control force of the optimal change of measure leads to a zero-variance estimator that is related to the solution of a Hamilton-Jacobi-Bellmann equation. We first show that, for a general suboptimal control force, the variance of the resulting estimator is bounded by the L ∞ distance between the suboptimal and the optimal control force. We consider three situations in which we can approximate this optimal control force, thus obtaining efficient estimators with small variance. Numerical examples show the effectiveness of these approximation strategies. The asymptotic optimality of the change of measure approach is proved.

研究の動機と目的

• 拡散過程のモンテカルロ推定器の分散を、重要度サンプリングを用いて低減すること。
• 確率的力学における制御力による測度の変更のためのフレームワークを構築すること。
• 指数型期待値に対して分散がゼロとなる最適制御力を近似すること。
• 部分最適な制御力と最適制御力の間のL∞距離に基づいた分散の理論的上限を確立すること。
• 提案された測度変更アプローチの漸近的最適性を示すこと。

提案手法

• 元の拡散ダイナミクスに制御力を加えることで測度変更を実行する。
• 最適制御力をハミルトニアン・ジャコビ・ベルマン（HJB）方程式の解から導出する。
• 推定器の分散を、部分最適な制御力と最適制御力の差のL∞ノルムに束縛する。
• 実装可能な実用的戦略を3つ提案し、最適制御力の近似を可能にする。
• 数値例を用いて、近似された制御力の有効性を検証する。
• 提案されたフレームワーク下で、測度変更アプローチの漸近的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 制御に基づく測度変更を用いて、重要度サンプリングを拡散過程に効果的に適用する方法は何か？
• RQ2 部分最適な制御力と得られる推定器の分散の関係は何か？
• RQ3 実用的に最適制御力を近似できるか、かつ分散が低いままで保てるか？
• RQ4 部分最適な制御下での推定器の分散に対して、どのような理論的保証を確立できるか？
• RQ5 提案された測度変更は、指数型期待値に対して漸近的に最適か？

主な発見

• 重要度サンプリング推定器の分散は、部分最適な制御力と最適制御力の間のL∞距離によって上限が与えられる。
• 最適制御力は、拡散パスの指数型関数に対するゼロ分散推定器をもたらす。
• 最適制御力の近似を実現するための3つの実用的戦略が提案され、それらは小さな分散の推定器をもたらすことが示された。
• 数値例により、近似戦略の有効性が、分散低減の観点から確認された。
• 測度変更アプローチは、提案されたフレームワーク下で漸近的に最適であることが証明された。
• 本手法は、拡散過程のための効率的なモンテカルロ推定器を設計する体系的な方法を提供する。