[论文解读] A stochastic maximum principle via Malliavin calculus

Thilo Meyer‐Brandis, Xun Yu Zhou+1 more|ArXiv.org|Nov 19, 2009

Stochastic processes and financial applications参考文献 16被引用 8

一句话总结

本文利用马利avin微积分，为部分信息下伊藤-列维过程的最优控制问题发展了一种随机最大值原理，无需假设伴随方程解的存在性，明确推导出伴随过程。关键贡献在于提出了一种新型的马利avin微分型方程来描述伴随过程，使得即使在非马尔可夫、随机系数设定下，结合跳跃扩散与延迟信息的情形，也能显式刻画最优控制。

ABSTRACT

This paper considers a controlled Itô-Lévy process where the information available to the controller is possibly less than the overall information. All the system coefficients and the objective performance functional are allowed to be random, possibly non-Markovian. Malliavin calculus is employed to derive a maximum principle for the optimal control of such a system where the adjoint process is explicitly expressed.

研究动机与目标

• 解决系统系数与性能泛函为随机且非马尔可夫的最优随机控制问题，此类问题对标准动态规划方法构成挑战。
• 制定并求解一个控制器信息流严格小于完整滤子的偏信息控制问题，以建模延迟或不完全观测的情形。
• 为具有跳跃与随机系数的受控伊藤-列维过程建立最大值原理，并通过马利avin微积分显式表达伴随过程。
• 克服先前工作中假设伴随解存在的局限性，该假设在偏信息设定下往往不成立。
• 提供一个适用于非马尔可夫、非预测性控制的框架，信息结构具有一般性，超越经典部分观测模型的范围。

提出的方法

• 利用马利avin微积分推导出通过马利avin导数表示的对偶关系，从而在最大值原理中实现伴随过程的显式计算。
• 通过测度变换下的克拉克-翁孔公式与格里珊诺夫定理，表达涉及马利avin导数的条件期望。
• 推导出一种新型方程——称为马利avin微分型方程——用于伴随过程，其形式包含马利avin导数的条件期望。
• 通过引入补偿跳跃测度并对方程中的列维测度进行积分，处理跳跃扩散过程。
• 利用维纳-伊藤混沌展开与混沌分解，将 $ L^2 $ 中的随机变量表示出来，以促进马利avin导数的分析。
• 通过涉及性能泛函马利avin导数的变分不等式建立最优性条件，从而导出最优性的必要条件。

实验结果

研究问题

• RQ1 当控制器具有部分信息且系数为随机时，如何为跳跃扩散的最优控制推导出随机最大值原理？
• RQ2 在非马尔可夫设定下，能否在不预先假设其存在性的前提下，显式表达最大值原理中的伴随过程？
• RQ3 在系统同时包含扩散与跳跃成分且控制器具有部分信息时，马利avin微积分在刻画最优控制中起到何种作用？
• RQ4 所提出的框架与控制器仅观测到噪声状态信号的经典部分观测控制模型有何本质区别？
• RQ5 基于马利avin微积分方法，会涌现出何种新型方程？该方程在特殊情形下如何用于刻画最优控制？

主要发现

• 本文推导出一种新型方程——称为马利avin微分型方程——用于伴随过程，该方程在部分信息设定下对刻画最优控制至关重要。
• 伴随过程通过马利avin导数显式表达，避免了对伴随方程解存在的预先假设，这正是先前工作中存在的关键局限。
• 在无跳跃且信息完整的特殊情形（即 $ \mathcal{E}_t = \mathcal{F}_t $），最优控制 $ \hat{u}(t) $ 由测度变换下马利avin导数的条件期望公式给出。
• 对于幂函数效用 $ U(x) = \frac{1}{\gamma}x^\gamma F(\omega) $，最优投资组合通过涉及Radon-Nikodym导数与马利avin导数的条件期望之比显式刻画。
• 解涉及通过 $ dQ = N_T dP $ 的测度变换，其中 $ N_t = \exp\left(-\int_0^t \frac{\alpha_s}{\beta_s} dB_s - \frac{1}{2}\int_0^t \left(\frac{\alpha_s}{\beta_s}\right)^2 ds\right) $，从而可在测度 $ Q $ 下使用克拉克-翁孔公式。
• 最终财富 $ \hat{X}(T) $ 由方程 $ E[ U'(\hat{X}(T)) (\alpha_T - \rho_T) + \beta_T D_T U'(\hat{X}(T)) \mid \mathcal{E}_T ] = 0 $ 确定，该方程为马利avin型方程，将最优终端财富与导数结构相联系。