[論文レビュー] Regress-Later Monte Carlo for optimal control of Markov processes

Alessandro Balata, Jan Palczewski|arXiv (Cornell University)|Dec 27, 2017

Stochastic processes and financial applications参考文献 18被引用数 13

ひとこと要約

本稿では、離散時間マルコフ過程の最適制御のための2つのレグレッション・レイト・モンテカルロアルゴリズム—価値反復およびパフォーマンス反復—の導入と収束の証明を行う。動的計画法方程式における条件付き期待値の推定に基底関数への回帰を活用することで、著者らは、状態に依存する制御および制約をよりうまく扱える柔軟性のおかげで、係数推定の分散がやや高いにもかかわらず、パフォーマンス反復がより優れた制御方策をもたらすことを示した。

ABSTRACT

We develop two Regression Monte Carlo algorithms (value and performance iteration) to solve general problems of optimal stochastic control of discrete-time Markov processes. We formulate our method within an innovative framework that allow us to prove the speed of convergence of our numerical schemes. We rely on the Regress Later approach unlike other attempts which employ the Regress Now technique. We exploit error bounds obtained in our proofs, along with numerical experiments, to investigate differences between the value and performance iteration approaches. Introduced in Tsitsiklis and VanRoy [2001] and Longstaff and Schwartz [2001] respectively, their characteristics have gone largely unnoticed in the literature; we show however that their differences are paramount in practical solution of stochastic control problems. Finally, we provide some guidelines for the tuning of our algorithms.

研究の動機と目的

• レグレッション・レイト・モンテカルロの数学的厳密なフレームワークを、マルコフ過程の最適確率的制御に適用する。
• レグレッション・レイト・アプローチの下で、価値反復およびパフォーマンス反復の両方の収束を証明する。
• 制御付きマルコフ過程における、価値反復とパフォーマンス反復の推定品質および実用的パフォーマンスを比較する。
• 理論的誤差境界と数値実験に基づいて、アルゴリズムのチューニングに関する実用的ガイドラインを提供する。

提案手法

• 将来的な価値関数の条件付き期待値を含む動的計画法方程式を用いて最適制御問題を定式化する。
• 将来の価値関数を決定的関数の基底に投影することで、条件付き期待値を推定するレグレッション・レイト手法を適用する。
• モンテカルロシミュレーションを用いて軌道を生成し、標本平均を用いて回帰係数を推定する。
• 2つのスキームを実装する：価値反復（価値関数を反復的に更新）とパフォーマンス反復（制御コストを含む1ステップのパフォーマンスを最適化）。
• 条件付き期待値の表現に基底関数を用いることで、動的計画法再帰の数値的近似が可能になる。
• 収束速度の分析および2つのスキームの比較のため、理論的誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 内生的制御を伴うマルコフ過程の最適制御において、レグレッション・レイト・アプローチはどのように収束を実現するか？
• RQ2 価値反復とパフォーマンス反復の収束速度および推定品質における理論的差異は何か？
• RQ3 係数推定の分散がやや高いにもかかわらず、なぜパフォーマンス反復はより優れた制御方策を生み出すのか？
• RQ4 基底関数およびトレーニング測度の選択は、レグレッション・レイト・アルゴリズムの精度にどのように影響するか？
• RQ5 理論的誤差境界は、アルゴリズムの実用的チューニングをガイドするために利用可能か？

主な発見

• パフォーマンス反復は、ドアの通過といった制約のある環境を効果的に通過する方策を著しく優れている。
• 価値反復スキームは滑らかな回帰係数推定を示すが、細い通路では効率的にプロセスを誘導できず、ドアを逃す傾向がある。
• パフォーマンス反復の政策は、1つ以上のドアを逃す確率が極めて低く、3つ以上のドアを逃す確率は1％未満である。これに対して、価値反復は1つ以上のドアを逃す確率が顕著に高く、3つまで逃す可能性があるため、経路ごとのパフォーマンスが著しく低くなる。
• 価値反復の政策は頻繁に1つ以上のドアを逃すが、特に3つのドアを逃す確率が顕著で、結果として経路ごとのパフォーマンスが著しく低下する。
• パフォーマンス反復から得られる制御マップは、より適応的であり、高い制御コストを伴うものの、制約を効果的に通過するようにプロセスを誘導する。
• 理論的収束は、レグレッション・レイト・フレームワーク下で、価値反復およびパフォーマンス反復の両方に対して証明され、制御付きマルコフ過程におけるこのようなアルゴリズムのための新たな基盤が確立された。