[论文解读] Sequential Kernel Herding: Frank-Wolfe Optimization for Particle Filtering

Simon Lacoste-Julien, Fredrik Lindsten+1 more|arXiv (Cornell University)|Jan 9, 2015

Stochastic Gradient Optimization Techniques参考文献 5被引用 28

一句话总结

本文提出顺序核合种（Sequential Kernel Herding, SKH），一种基于Frank-Wolfe优化的方法，用于替代粒子滤波中的随机粒子采样，通过自适应选择粒子位置实现更快的收敛速度和更高的精度。该方法在再生核希尔伯特空间（RKHS）中利用核合种技术以最小化求积误差，在有利条件下展现出O(1/k)的收敛速率，优于标准蒙特卡洛和准蒙特卡洛采样方法，在合成数据和机器人定位任务中表现更优。

ABSTRACT

Recently, the Frank-Wolfe optimization algorithm was suggested as a procedure to obtain adaptive quadrature rules for integrals of functions in a reproducing kernel Hilbert space (RKHS) with a potentially faster rate of convergence than Monte Carlo integration (and "kernel herding" was shown to be a special case of this procedure). In this paper, we propose to replace the random sampling step in a particle filter by Frank-Wolfe optimization. By optimizing the position of the particles, we can obtain better accuracy than random or quasi-Monte Carlo sampling. In applications where the evaluation of the emission probabilities is expensive (such as in robot localization), the additional computational cost to generate the particles through optimization can be justified. Experiments on standard synthetic examples as well as on a robot localization task indicate indeed an improvement of accuracy over random and quasi-Monte Carlo sampling.

研究动机与目标

• 解决在似然评估成本高昂时，标准粒子滤波方法存在的高方差与计算效率低下问题。
• 克服在计算量大的观测模型（如基于视觉的机器人系统）中，Bootstrap粒子滤波方法的局限性。
• 开发一种利用优化改进粒子分布的方法，在不增加粒子数量的前提下降低采样方差。
• 为所提方法在贝叶斯滤波与RKHS积分背景下的理论收敛性提供保证。
• 在合成数据和真实世界机器人定位任务中，实证验证该方法优于标准蒙特卡洛和准蒙特卡洛粒子滤波方法。

提出的方法

• 用Frank-Wolfe优化替代粒子滤波中的随机采样步骤，以在再生核希尔伯特空间（RKHS）中最小化求积误差。
• 将核合种作为Frank-Wolfe的一个特例，通过迭代选择最能逼近后验分布的粒子位置。
• 将粒子选择建模为粒子位置的边际多面体上的约束优化问题，目标是最小化与目标分布均值元素的距离。
• 应用Frank-Wolfe算法，通过求解一个线性子问题，迭代更新粒子位置，选择核诱导特征空间中最具有信息量的点。
• 将优化后的粒子集合集成到贝叶斯滤波递推公式中，每一步时间更新后验近似。
• 理论分析表明，在假设真实均值位于定义域凸包的相对内部时，近似均值元素误差的收敛速率为O(1/k)。

实验结果

研究问题

• RQ1 Frank-Wolfe优化能否在高维、非线性状态空间模型中有效应用于粒子滤波，以降低采样方差？
• RQ2 用基于优化的粒子选择替代随机采样，是否能实现比标准蒙特卡洛或准蒙特卡洛方法更快的收敛速率？
• RQ3 在基于RKHS求积的背景下，能否为该优化型粒子滤波方法建立理论收敛保证？
• RQ4 当似然评估计算成本高昂时（如基于视觉的机器人定位），该方法在实际应用中表现如何？
• RQ5 当似然计算是主要计算瓶颈时，该方法是否能在粒子数量更少的情况下仍保持高精度，尤其相较于标准粒子滤波？

主要发现

• 所提出的顺序核合种（SKH）方法在有利的几何条件下，对后验分布均值元素近似误差的收敛速率为O(1/k)。
• 理论分析表明，当真实均值位于定义域凸包的相对内部时，误差衰减速率为O(1/k)，快于标准蒙特卡洛方法的O(1/√k)速率。
• 在均值不在相对内部的情况下，该方法仍可达到O(1/√k)的收敛速率，且不包含先前Frank-Wolfe收敛界中的对数因子。
• 在合成模型和机器人定位任务中的实证结果表明，SKH在精度上优于标准粒子滤波和准蒙特卡洛粒子滤波方法，尤其在似然评估成本高昂时表现更优。
• 该方法即使在粒子数量减少的情况下仍能保持高精度，证明了在似然评估为计算瓶颈时，引入优化计算的额外开销是合理的。