[论文解读] Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family

Tohid Ardeshiri, Umut Orguner+1 more|arXiv (Cornell University)|Oct 5, 2015

Target Tracking and Data Fusion in Sensor Networks被引用 12

一句话总结

该论文提出了一种贝叶斯推断方法，通过使用对数似然函数的泰勒级数近似，将关于指数族先验的充分统计量线性化，从而使得后验分布保持与先验相同的指数族形式。该方法推广了扩展卡尔曼滤波器，并实现了高效、计算轻量化的推断，已在逆威沙特分布目标扩展的扩展目标跟踪中得到验证。

ABSTRACT

In this paper, a Bayesian inference technique based on Taylor series approximation of the logarithm of the likelihood function is presented. The proposed approximation is devised for the case, where the prior distribution belongs to the exponential family of distributions. The logarithm of the likelihood function is linearized with respect to the sufficient statistic of the prior distribution in exponential family such that the posterior obtains the same exponential family form as the prior. Similarities between the proposed method and the extended Kalman filter for nonlinear filtering are illustrated. Furthermore, an extended target measurement update for target models where the target extent is represented by a random matrix having an inverse Wishart distribution is derived. The approximate update covers the important case where the spread of measurement is due to the target extent as well as the measurement noise in the sensor.

研究动机与目标

• 开发一种适用于计算资源有限的大规模问题的快速、解析型贝叶斯推断技术。
• 通过使用泰勒级数对数似然函数进行近似，解决当似然函数非线性时后验分布非共轭的挑战。
• 保持后验分布的指数族形式，确保递归且计算高效的更新。
• 将该方法扩展至扩展目标跟踪，其中目标扩展被建模为具有逆威沙特先验的随机矩阵。
• 为实时滤波应用中蒙特卡洛方法或变分贝叶斯方法提供一种计算高效的替代方案。

提出的方法

• 在先验分布的充分统计量处，对似然函数的对数使用一阶泰勒级数展开进行近似。
• 将对数似然函数关于充分统计量线性化，确保后验分布与先验保持相同的指数族形式。
• 推导出一种测量更新规则，通过使后验与先验的参数形式一致，保持共轭性。
• 将该方法应用于扩展目标跟踪，其中目标扩展被建模为具有逆威沙特分布的随机矩阵。
• 在时间更新中采用指数遗忘策略，更新逆威沙特参数，以建模缓慢变化的目标扩展。
• 使用对数似然函数的线性化近似来表述后验更新，其方法与扩展卡尔曼滤波器类似。

实验结果

研究问题

• RQ1 当先验属于指数族时，对数似然的一阶泰勒近似是否能保持后验的共轭性？
• RQ2 在非线性贝叶斯推断中，该方法与扩展卡尔曼滤波器相比，在精度和计算成本方面表现如何？
• RQ3 该方法能否有效应用于目标扩展采用随机矩阵模型的扩展目标跟踪？
• RQ4 与蒙特卡洛方法和变分方法相比，该近似在估计误差和计算效率方面的表现如何？
• RQ5 后验近似对充分统计量空间中线性化点的选择有多敏感？

主要发现

• 所提方法获得的后验分布与先验属于同一指数族，从而实现了递归且计算高效的推断。
• 该算法在估计误差方面与FFK（Fisher-因子化卡尔曼）和ULL（无迹-线性化）滤波器相当，但计算成本更低。
• 数值仿真表明，运动状态的估计误差约为0.8 m（均值 ± 标准差），扩展状态的估计误差约为0.3 m（均值 ± 标准差）。
• 该方法的循环时间显著低于FFK和ULL，表明其计算效率更高。
• 由于时间更新中采用了指数遗忘策略，即使在目标扩展缓慢变化的情况下，该方法仍能保持长期的稳定性和准确性。
• 该方法推广了扩展卡尔曼滤波器，并为计算预算有限的实时滤波应用提供了一种有原则的蒙特卡洛方法和变分贝叶斯方法的替代方案。