[論文レビュー] A Class of Finite-Dimensional Numerically Solvable McKean-Vlasov Control Problems

Alessandro Balata, Côme Huré+3 more|arXiv (Cornell University)|Feb 27, 2018

Market Dynamics and Volatility参考文献 21被引用数 9

ひとこと要約

本稿では、共通ノイズを伴う多項式クラスの有限次元 McKean-Vlasov コントロール問題を導入し、マルコフ埋め込みを用いて数値的に解けるようにする。定量化、リグレッション・レイト、コントロール・ランダマイゼーションの各手法を比較した結果、ドリフト制御に対してはリグレッション・レイトと定量化が有効である一方、基底関数への感受性の高さからリグレッション手法は分散制御に対しては困難であることが判明した。

ABSTRACT

We address a class of McKean-Vlasov (MKV) control problems with common noise, called polynomial conditional MKV, and extending the known class of linear quadratic stochastic MKV control problems. We show how this polynomial class can be reduced by suitable Markov embedding to finite-dimensional stochastic control problems, and provide a discussion and comparison of three probabilistic numerical methods for solving the reduced control problem: quantization, regression by control randomization, and regress later methods. Our numerical results are illustrated on various examples from portfolio selection and liquidation under drift uncertainty, and a model of interbank systemic risk with partial observation.

研究の動機と目的

• 部分観測と共通ノイズ下での有限次元的で数値的に取り扱える McKean-Vlasov コントロール問題のクラスの開発。
• 線形二次的枠組みを拡張するため、多項式条件付き McKean-Vlasov クラスの導入。
• マルコフ埋め込みを用いて無限次元問題を有限次元問題に還元し、数値的解法を可能にする。
• 還元された有限次元問題を解くための3つの確率的数値手法（定量化、リグレッション・レイト、コントロール・ランダマイゼーション）の比較と評価。
• 部分観測下でのポートフォリオ選択、ドリフト不確実性下でのリキッド化、システミックリスクモデルへの性能評価。

提案手法

• 線形二次的問題を一般化し、有限次元還元が可能な多項式条件付き McKean-Vlasov (MKV) クラスを提案。
• マルコフ埋め込みを用いて、条件付き MKV コントロール問題を有限次元確率的制御問題に変換。
• 3つの数値的手法を適用：定量化（グリッドベースの回帰による価値関数近似）、リグレッション・レイト（回帰を用いた後向き確率的再帰）、コントロール・ランダマイゼーション（ランダム化された制御訓練）。
• 3つのベンチマーク問題に手法を実装：ポートフォリオ選択、ドリフト不確実性下でのリキッド化、部分観測下での銀行間システミックリスク。
• 条件付き期待値と繰り返し期待値の法則を用いて、コスト関数を条件付き分布の観点から表現。
• 並列処理とグリッドの細分化戦略を活用し、特に定量化に基づく手法において精度と効率を向上。

実験結果

リサーチクエスチョン

• RQ1 無限次元制御問題が有限次元問題に還元可能となるような多項式クラスの McKean-Vlasov 制御問題を定式化できるか？
• RQ2 還元された有限次元問題を解く際、定量化、リグレッション・レイト、コントロール・ランダマイゼーションの各手法は、精度、速度、安定性の観点でどのように比較されるか？
• RQ3 回帰に基づく手法が、制御が分散にのみ作用する問題で困難をきたす理由は何か？その背後にある数値的制限は何か？
• RQ4 事前知識が最適状態軌道について限られている問題に対し、定量化に基づく手法を効果的に適応できるか？
• RQ5 定量化手法におけるグリッド設計と境界処理を最適化することで、信頼性の向上と境界誤差の低減が可能か？

主な発見

• ドリフト制御問題において、リグレッション・レイトとコントロール・ランダマイゼーション手法は良好な性能を示し、リグレッション・レイトはコントロール・ランダマイゼーションよりもハイパーパrameter選択に対してより安定で信頼性が高い。
• 定量化に基づく手法は極めて安定的かつ高精度な結果を提供しており、局所回帰によりグリッドの細分化と誤差の局所化が容易である。
• 回帰に基づく手法は、制御が分散にのみ作用する問題では収束に問題をきたすことが多く、主に基底関数の選択が不適切であることと、学習分布に対する感受性の高さに起因する。
• コントロール・ランダマイゼーションにおける制御分布の選択が性能に顕著に影響を与え、しばしば最適な分布を見つけるために複数回の反復が必要となる。
• 定量化は並列処理が効率よく可能であり、特に最適軌道に関する事前知識がある場合に、グリッドの局所的細分化が顕著に効果を発揮する。
• 定量化グリッドにおける境界効果は、グリッド形状が適切に設計されていないと性能を著しく低下させるため、最適な行動選択のためには決定論的最適化が不可欠となる。