[论文解读] Laplace approximation with estimated error and application to probability

Vassili N. Kolokoltsov, Tomasz M. Łapiński|arXiv (Cornell University)|Feb 11, 2015

Probabilistic and Robust Engineering Design参考文献 5被引用 4

一句话总结

本文针对最大值出现在定义域内部或边界上的积分，发展了一种具有估计收敛速率的多维拉普拉斯近似方法。该方法被应用于推导由归一化拉普拉斯积分定义的随机向量的两个极限定理：大数定律与中心极限定理，其极限分布不同——内部最大值情况下为高斯分布，边界最大值情况下为指数-高斯混合分布。

ABSTRACT

In this paper Multidimensional Laplace approximation with the estimated rate of convergence is developed. We consider two cases of maximum, in the interior of the domain and on the boundary. Additionally, the function in the exponent and its maximum point is dependent on the integral ’large’ parameter. The probabilistic application is included and it is in the form of two limit theorems for the random vector whose values are defined as the coordinates of points within the domain of Laplace integral. The pdf is constructed by considering Laplace integral with domain of integration being the event set and normalizing with integral over whole domain. The first probabilistic result is Law of Large Numbers and the second is Central Limit Theorem. The second result is different for two cases of maximum of function in Laplace integral. When it is in the interior of the domain we obtain Gaussian distribution. For the boundary maximum we obtain exponential in one direction and Gaussian in other directions. The proofs are based on the developed in the paper Laplace approximation and additional, rather standard estimated were necessary.

研究动机与目标

• 开发一种针对大参数出现在指数中的积分的、具有量化收敛速率的多维拉普拉斯近似方法。
• 分析当指数函数的最大值位于定义域内部与边界时，拉普拉斯积分的行为。
• 建立从定义域事件上归一化拉普拉斯积分导出的随机向量的概率极限定理。
• 提供拉普拉斯近似中误差的严格估计，这对概率应用至关重要。
• 刻画归一化随机向量的极限分布，区分内部最大值与边界最大值两种情形。

提出的方法

• 推导出涉及大参数在指数中的积分的多维拉普拉斯近似，并给出显式的误差界。
• 考虑两种情形：指数函数的最大值位于积分定义域的内部点和边界点。
• 使用拉普拉斯方法，通过在最大值点附近展开指数函数来近似积分。
• 将该近似应用于通过在定义域子集上归一化积分来构造概率密度函数。
• 采用标准渐近分析技术与误差界估计，证明归一化随机向量的收敛性。
• 通过区分内部最大值与边界最大值的情形来分析极限分布，从而得出不同的渐近形式。

实验结果

研究问题

• RQ1 当指数函数的最大值位于定义域内部时，如何估计多维拉普拉斯近似的收敛速率？
• RQ2 当指数函数的最大值出现在积分定义域的边界上时，拉普拉斯近似的行为如何？
• RQ3 从拉普拉斯积分导出的归一化随机向量的极限分布，在内部最大值与边界最大值情形下有何不同？
• RQ4 此类归一化随机向量在极限下所呈现的精确渐近分布（例如高斯分布或指数-高斯混合分布）是什么？
• RQ5 在概率设定下，为严格建立拉普拉斯近似的收敛性，需要哪些误差估计？

主要发现

• 发展了具有显式误差估计的拉普拉斯近似，使得对含大参数的多维积分的收敛性分析得以严格进行。
• 当指数函数的最大值位于定义域内部时，归一化随机向量的极限分布为多变量高斯分布。
• 当最大值出现在边界上时，极限分布沿边界法向方向为指数分布，而在切向方向为高斯分布。
• 为归一化随机向量建立了大数定律，表明其收敛于指数函数的最大值点。
• 证明了中心极限定理，其极限分布依最大值位置而异——内部最大值时为高斯分布，边界最大值时为混合的指数-高斯分布。
• 证明过程依赖于所发展的具有误差估计的拉普拉斯近似，结合标准渐近分析技术以确保收敛性。