[论文解读] Asymptotic Theory of Bayes Factor in Stochastic Differential Equations: Part II

Trisha Maitra, Sourabh Bhattacharya|arXiv (Cornell University)|Mar 31, 2015

Probabilistic and Robust Engineering Design参考文献 22被引用 4

一句话总结

本文为带有时变协变量和随机效应的随机微分方程（SDE）模型中的贝叶斯因子发展了一套渐近理论，证明了在时间与个体数量增加时，无论采用独立同分布（i.i.d.）还是非独立同分布（non-i.i.i.d.）抽样方案，贝叶斯因子均以几乎必然的指数速度收敛。关键贡献在于证明了在个体对数贝叶斯因子仅依期望收敛（方差不趋于零）的情况下，贝叶斯因子在SDE模型选择中仍具一致性。

ABSTRACT

The problem of model selection in the context of a system of stochastic differential equations (SDEs) has not been touched upon in the literature. Indeed, properties of Bayes factors have not been studied even in single SDE based model comparison problems. In this article, we first develop an asymptotic theory of Bayes factors when two SDEs are compared, assuming the time domain expands. Using this we then develop an asymptotic theory of Bayes factors when systems of SDEs are compared, assuming that the number of equations in each system, as well as the time domain, increase indefinitely. Our asymptotic theory covers situations when the observed processes associated with the SDEs are independently and identically distributed (iid), as well as when they are independently but not identically distributed (non-iid). Quite importantly, we allow inclusion of available time-dependent covariate information into each SDE through a multiplicative factor of the drift function in a random effects set-up; different initial values for the SDEs are also permitted. Thus, our general model-selection framework includes simultaneously the variable selection problem associated with time-varying covariates, as well as choice of the part of the drift function free of covariates. As we show, the Bayes factor is inconsistent for comparing individual SDEs, in the sense that the log-Bayes factor converges only in expectation, while the relevant variance does not converge to zero. Nevertheless, it has been possible to exploit this result to establish almost sure exponential convergence of the Bayes factor when, in addition, the number of individuals are also allowed to increase indefinitely. We carry out simulated and real data analyses to demonstrate that Bayes factor is a suitable candidate for covariate selection in our SDE models even in non-asymptotic situations.

研究动机与目标

• 为随机微分方程（SDE）模型选择发展一套贝叶斯因子的渐近理论，填补现有文献中的空白。
• 将该理论扩展至系统SDE模型，其中时间域和方程数量均趋于无穷。
• 在SDE的漂移函数中引入时变协变量和随机效应，实现变量选择并灵活建模个体异质性。
• 在独立同分布（i.i.i.d.）和非独立同分布（non-i.i.d.）抽样方案下，建立贝叶斯因子的几乎必然指数收敛性。
• 通过模拟和真实数据分析，证明贝叶斯因子在有限样本设置下仍适用于SDE模型中的协变量选择。

提出的方法

• 形式化定义一个具有乘法随机效应结构的通用SDE模型，允许时变协变量和个体特异性初始值。
• 通过黎曼和对连续近似，表示当个体数量和时间域增加时，贝叶斯因子的极限行为。
• 应用科尔莫戈罗夫强大数定律，证明个体间平均对数贝叶斯因子的几乎必然收敛性。
• 运用控制收敛定理，交换期望与积分中的极限，证明期望对数贝叶斯因子收敛至一个类似Kullback-Leibler散度的量。
• 在区间[0,1]上构造连续函数，表示对数贝叶斯因子的极限行为，将离散序列与连续积分联系起来。
• 依赖于参数空间及相关函数的紧致性与连续性，确保极限表达式的统一有界性与可积性。

实验结果

研究问题

• RQ1 当时间域和个体数量趋于无穷时，贝叶斯因子能否一致地选择出正确的SDE模型？
• RQ2 时变协变量和随机效应的引入如何影响SDE模型中贝叶斯因子的渐近行为？
• RQ3 当底层过程完全可观测且扩散系数已知时，贝叶斯因子在SDE模型选择中是否具有一致性？
• RQ4 在基于SDE的混合效应模型中，i.i.d.与non-i.i.d.抽样方案下，对数贝叶斯因子的极限行为如何？
• RQ5 即使在样本量有限的非渐近设置下，贝叶斯因子能否可靠地用于SDE中的变量选择？

主要发现

• 随着时间和个体数量的增加，贝叶斯因子在i.i.d.与non-i.i.d.抽样方案下均表现出几乎必然的指数收敛。
• 对数贝叶斯因子以几乎必然的方式收敛至真实密度与模型密度之间Kullback-Leibler散度的负倍数，表明模型选择的一致性。
• 尽管单个SDE的对数贝叶斯因子仅依期望收敛（方差不趋于零），但时间与样本量的联合增长仍可导致平均对数贝叶斯因子的几乎必然收敛。
• 平均对数贝叶斯因子的极限值为 $-\delta^\infty = -\int_0^1 \delta(x, \boldsymbol{z}) \, dy$，其中 $\delta(x, \boldsymbol{z})$ 表示真实密度与模型密度之间的Kullback-Leibler散度。
• 即使漂移函数中包含时变协变量和随机效应，且个体初始值不同，该渐近理论依然成立。
• 模拟与真实数据分析结果表明，即使在有限样本设置下，贝叶斯因子在SDE模型中的协变量选择中仍保持有效性。