[论文解读] Statistical Inference for Stochastic Differential Equations with Memory

Martin Lysy, Natesh S. Pillai|arXiv (Cornell University)|Jul 3, 2013

Stochastic processes and financial applications参考文献 48被引用 5

一句话总结

该论文为由分数布朗运动驱动的、具有长程记忆特性的随机微分方程（SDEs）构建了一个贝叶斯推断框架。通过利用数据增广和混合蒙特卡洛算法，该方法联合估计了漂移、扩散和赫斯特参数，借助托普利茨矩阵运算的循环嵌入技术实现了高效计算。

ABSTRACT

In this paper we construct a framework for doing statistical inference for discretely observed stochastic differential equations (SDEs) where the driving noise has 'memory'. Classical SDE models for inference assume the driving noise to be Brownian motion, or "white noise", thus implying a Markov assumption. We focus on the case when the driving noise is a fractional Brownian motion, which is a common continuous-time modeling device for capturing long-range memory. Since the likelihood is intractable, we proceed via data augmentation, adapting a familiar discretization and missing data approach developed for the white noise case. In addition to the other SDE parameters, we take the Hurst index to be unknown and estimate it from the data. Posterior sampling is performed via a Hybrid Monte Carlo algorithm on both the parameters and the missing data simultaneously so as to improve mixing. We point out that, due to the long-range correlations of the driving noise, careful discretization of the underlying SDE is necessary for valid inference. Our approach can be adapted to other types of rough-path driving processes such as Gaussian "colored" noise. The methodology is used to estimate the evolution of the memory parameter in US short-term interest rates.

研究动机与目标

• 解决经典SDE模型假设马尔可夫性（白噪声）驱动过程的局限性，此类模型无法捕捉真实世界数据中的长程依赖性。
• 为由分数布朗运动（fBM）驱动的SDEs开发统计推断框架，fBM是一种具有赫斯特参数H索引的非马尔可夫过程，具备长程记忆特性。
• 从离散观测数据中联合估计未知赫斯特参数H与漂移、扩散系数，其中似然函数难以计算。
• 通过使用基于欧拉-丸山离散化和高斯近似的分层数据增广方法，克服似然函数计算中的计算挑战。
• 通过采用混合蒙特卡洛算法联合更新参数与潜变量路径，提升高维参数空间中的后验抽样效率。

提出的方法

• 采用数据增广策略，将SDE未观测到的连续路径视为潜变量，即使似然函数不可计算，也能实现基于似然的推断。
• 应用欧拉-丸山格式对SDE进行离散化，将解近似为具有托普利茨协方差矩阵的线性高斯模型，该矩阵由fBM增量导出。
• 利用循环嵌入技术高效计算涉及fBM增量托普利茨方差-协方差矩阵的矩阵运算，将计算成本从O(N³)降低至O(N log N)。
• 将似然函数表述为给定初值和参数的多元正态密度，其均值与协方差由离散化SDE的动力学推导得出。
• 实现一种混合蒙特卡洛（HMC）算法，联合抽样SDE参数（漂移、扩散、赫斯特）与潜变量路径，提升混合效率与收敛性。
• 为参数使用共轭先验，并通过块矩阵分解推导条件后验分布，以支持高效的吉布斯抽样步骤。

实验结果

研究问题

• RQ1 当由于记忆效应导致似然函数不可计算时，如何对由分数布朗运动驱动的SDEs进行统计推断？
• RQ2 对于具有记忆特性的SDEs，何种高效且有效的离散化方案可保持驱动噪声的长程依赖结构？
• RQ3 能否在贝叶斯框架下，利用离散时间观测数据，联合估计赫斯特参数H与漂移、扩散系数？
• RQ4 在同时包含SDE参数与潜变量路径的高维参数空间中，如何改进后验抽样效率？
• RQ5 所提出方法在建模如美国短期利率等长记忆现象时，相较于经典马尔可夫SDE推断，性能提升程度如何？

主要发现

• 所提出的基于数据增广与HMC的推断框架，能够实现由分数布朗运动驱动的SDE中漂移、扩散与赫斯特参数的联合估计。
• 循环嵌入技术通过将托普利茨矩阵运算转换为快速傅里叶变换，显著提升似然计算效率，使复杂度从O(N³)降低至O(N log N)，当N > 1000时尤为显著。
• 该方法成功捕捉了美国短期利率数据中的长程依赖性，揭示了随时间变化的内存参数H，反映了市场动态的演变。
• 与标准随机游走Metropolis算法相比，所采用的混合蒙特卡洛算法显著提升了后验抽样中的混合效率，尤其在高维参数空间中表现更优。
• 共轭先验结构支持条件后验的解析计算，从而促进高效吉布斯抽样，即使在小样本量下也能实现稳健推断。
• 该框架可扩展至其他非马尔可夫驱动过程（如高斯色噪声），从而拓宽其在fBM之外的应用范围。