[論文レビュー] Probabilistic solution of relative entropy weighted control

Joris Bierkens, Hilbert J. Kappen|arXiv (Cornell University)|May 31, 2012

Stochastic processes and financial applications参考文献 12被引用数 3

ひとこと要約

この論文は、測度の変更とギルサノフの定理を用いて、相対エントロピー重み付き確率的制御問題を解く確率的手法を提示している。これにより、マリヤンキン微積分を用いて最適制御過程の明示的計算が可能になる。動的計画法を越えて、ブラウン運動と相対エントロピーペナルティを含む問題に対して正確な解を提供し、拡散過程における線形HJB方程式と関連付ける。

ABSTRACT

We expand earlier results by Bou\'e and Dupuis where stochastic control problems with a particular cost structure, involving a relative entropy term, are shown to admit a solution by means of a change of measure technique. We provide methods of computing the corresponding optimal control process explicitly. Our results enables us to find solutions for optimal control problems to which the dynamic programming principle can not be applied. The argument is as follows. Minimization of the expectation of a random variable with respect to the underlying probability measure, penalized by relative entropy, may be solved exactly. In the case where the randomness is generated by a standard Brownian motion, this exact solution can be written as a Girsanov density. An explicit expression for the control process may be obtained in terms of the Malliavin derivative of the density process. The theory is applied to the problem of minimizing the maximum of a Brownian motion (penalized by the relative entropy). The link to a linear version of the Hamilton-Jacobi-Bellman equation is made for the case of diffusion processes.

研究の動機と目的

• 動的計画法が適用できない状況における相対エントロピーペナルティ付き確率的制御問題を解くための手法を開発すること。
• 測度の変更技術を用いて最適制御過程の明示的表現を提供すること。
• 拡散過程における線形ハミルトニアン・ジャコビ・ベルマン方程式と解を関連付けること。
• ブラウン運動の最大値を相対エントロピー正則化のもとで最小化する問題にこの手法を適用すること。
• 密度過程のマリヤンキン微分を用いた制御の計算フレームワークを確立すること。

提案手法

• 相対エントロピーペナルティ付き制御問題を解ける期待値最小化問題に変換するための測度の変更技術の使用。
• ギルサノフの定理を応用し、最適な測度変更をブラウン運動によって駆動される密度過程として表現すること。
• ギルサノフ密度のマリヤンキン微分を用いて最適制御過程を明示的に構成すること。
• 対数密度の勾配の観点から制御を導出し、解析的取り扱いの容易さを実現すること。
• 拡散過程における線形HJB方程式への解の関連付け。
• 動的計画法の必要がない非マルコフ的または類似非マルコフ的設定においても、確率的計算のツールを用いて回避すること。

実験結果

リサーチクエスチョン

• RQ1 動的計画法が失敗する状況において、相対エントロピー重み付き問題の最適制御をどのように計算できるか？
• RQ2 最適制御過程の明示的形は、基礎となるブラウン運動およびそのマリヤンキン微分を用いてどのように表されるか？
• RQ3 拡散過程の設定において、解は線形HJB方程式とどのように関連しているか？
• RQ4 相対エントロピー正則化のもとでブラウン運動の最大値を最小化する問題を明示的に解けるか？
• RQ5 ギルサノフ密度は、最適制御を構築する際に果たす役割は何か？

主な発見

• 最適制御過程は、ギルサノフ密度のマリヤンキン微分として明示的に表現され、直接計算が可能である。
• この手法は、動的計画法に依存せずに、相対エントロピーペナルティ付き制御問題に対して正確な解を提供する。
• 拡散過程の設定では、解のフレームワークが線形ハミルトニアン・ジャコビ・ベルマン方程式と関連している。
• このアプローチは、相対エントロピー正則化のもとでブラウン運動の最大値を最小化する問題を明示的に解ける。
• 測度の変更技術により、制約付き最適化問題が取り扱いやすい期待値最小化問題に変換可能である。
• 非マルコフ的構造のために標準HJB方程式を満たさない価値関数を持つ問題に対しても、この手法は適用可能である。