[論文レビュー] Optimal control of branching diffusion processes: a finite horizon problem

Julien Claisse|arXiv (Cornell University)|Nov 20, 2015

Stochastic processes and statistical mechanics参考文献 25被引用数 9

ひとこと要約

本稿では、有限時間枠の基準における分岐拡散過程の最適確率的制御のための動的計画法を提案する。粒子の移動と増殖は位置と制御に依存し、価値関数が非線形ハミルトニアン・ヤコビ・ベルマン（HJB）方程式の一意な粘性解として特徴づけられることを確立した。これは、粒子間の依存性と制御に依存する増殖を扱うために、新規の確率的構成と厳密な動的計画法原理を用いて、Nisioの枠組みを拡張したものである。

ABSTRACT

In this paper, we aim to develop the theory of optimal stochastic control for branching diffusion processes where both the movement and the reproduction of the particles depend on the control. More precisely, we study the problem of minimizing a criterion that is expressed as the expected value of the product of individual costs penalizing the final position of each particle. In this setting, we show that the value function is the unique viscosity solution of a nonlinear parabolic PDE, that is, the Hamilton-Jacobi-Bellman equation corresponding to the problem. To this end, we extend the dynamic programming approach initiated by Nisio to deal with the lack of independence between the particles as well as between the reproduction and the movement of each particle. In particular, we exploit the particular form of the optimization criterion to recover a weak form of the branching property. In addition, we provide a precise formulation and a detailed justification of the adequate dynamic programming principle.

研究の動機と目的

• 粒子の移動と増殖が両方とも制御可能な分岐拡散過程への最適確率的制御理論の拡張を図ること。
• 制御された分岐過程における粒子間および増殖と移動の間の独立性の欠如を扱うこと。
• Nisioの研究を拡張し、位置および制御に依存する寿命と子孫分布を許容すること。
• 依存する粒子動態を伴う非マコフ的かつ非i.i.d.な設定において、厳密な動的計画法原理（DPP）を確立すること。
• この非マコフ的かつ測度値をとる設定下で、価値関数が対応する非線形HJB方程式の一意な粘性解であることを証明すること。

提案手法

• 制御に依存する移動と増殖をモデル化するため、マーティングル問題のアプローチを用いて制御された分岐拡散過程を構築する。
• 粒子間および制御行動間の依存性を扱うために、拡大された確率空間を導入する。
• 完全非線形PDEの滑らかな解の存在に関するKrylovの結果に基づく近似手続きを適用する。
• 正則化された問題に対応する滑らかな関数による近似により、価値関数を滑らかに近似する摂動スキームを用いる。
• 独立性の欠如にもかかわらず、本質的な構造を回復するための分岐性の弱い形を導出する。
• 近似列における一様収束性とタイトネス推定に基づいて、動的計画法原理を確立する。

実験結果

リサーチクエスチョン

• RQ1 依存する粒子動態を伴う制御された分岐拡散過程において、動的計画法原理をどのように厳密に正当化できるか。
• RQ2 粒子の積型コスト関数を伴う有限時間枠の最適制御問題に対して、ハミルトニアン・ヤコビ・ベルマン（HJB）方程式の適切な定式化は何か。
• RQ3 制御枠組みにおいて、粒子間および増殖と移動の間の独立性の欠如をどのように扱えるか。
• RQ4 この非マコフ的かつ測度値をとる設定下で、価値関数が非線形PDEの一意な粘性解として特徴づけられるか。
• RQ5 制御に依存する増殖と空間依存性を扱うために、古典的動的計画法の手法にどのような修正が必要か。

主な発見

• 価値関数は、最適制御問題に関連する非線形放物型HJB方程式の一意な粘性解である。
• 動的計画法原理は、拡大された確率空間における制御の下界と停止時刻の上界を含む、両側不等式の形で成立する。
• 価値関数の近似列が停止時刻の上で一様に収束することを示し、厳密な極限操作が可能になる。
• 本稿では、位置および制御に依存する増殖と寿命を許容する制御された分岐拡散過程の新規な構成を提供する。
• 粒子間および制御行動間の独立性の欠如にもかかわらず、弱い形の分岐性が回復される。
• HJB方程式は、新規な近似および極限手続きにより導出・正当化され、古典的結果が非i.i.d.分岐系へと拡張される。