[論文レビュー] Sequential Kernel Herding: Frank-Wolfe Optimization for Particle Filtering

Simon Lacoste-Julien, Fredrik Lindsten+1 more|arXiv (Cornell University)|Jan 9, 2015

Stochastic Gradient Optimization Techniques参考文献 5被引用数 28

ひとこと要約

本稿では、順次カーネルハーディング（SKH）を提案する。これは、反復的最適化に基づくフランク＝ウォルフ法を用いて、粒子フィルタにおけるランダムな粒子サンプリングを置き換える手法であり、カーネルハーディングを再生核ヒルバート空間（RKHS）内で用いることで、四則誤差を最小化し、適応的に粒子位置を選び、収束速度の向上と精度の向上を達成する。理論的解析により、有利な条件下ではO(1/k)の収束率を示し、合成的およびロボット局在化タスクにおいて、標準的なモンテカルロ法や準モンテカルロ法を上回る性能を発揮する。

ABSTRACT

Recently, the Frank-Wolfe optimization algorithm was suggested as a procedure to obtain adaptive quadrature rules for integrals of functions in a reproducing kernel Hilbert space (RKHS) with a potentially faster rate of convergence than Monte Carlo integration (and "kernel herding" was shown to be a special case of this procedure). In this paper, we propose to replace the random sampling step in a particle filter by Frank-Wolfe optimization. By optimizing the position of the particles, we can obtain better accuracy than random or quasi-Monte Carlo sampling. In applications where the evaluation of the emission probabilities is expensive (such as in robot localization), the additional computational cost to generate the particles through optimization can be justified. Experiments on standard synthetic examples as well as on a robot localization task indicate indeed an improvement of accuracy over random and quasi-Monte Carlo sampling.

研究の動機と目的

• 尤度評価が高コストな状況において、標準的な粒子フィルタの高い分散と計算非効率性を是正すること。
• 視覚ベースのロボティクスなど、観測モデルが計算的に重い状況において、ブートストラップ粒子フィルタの限界を克服すること。
• 最適化を活用して粒子配置を改善し、粒子数を増加させないままにサンプリング分散を低減する手法を開発すること。
• ベイジアンフィルタリングとRKHS統合の文脈において、提案手法の理論的収束保証を提供すること。
• 合成的および実世界のロボット局在化タスクにおいて、標準的および準モンテカルロ粒子フィルターよりも優れた性能を実証すること。

提案手法

• 再生核ヒルバート空間（RKHS）内での四則誤差最小化を目的として、粒子フィルタのランダムサンプリングステップをフランク＝ウォルフ最適化に置き換える。
• カーネルハーディングをフランク＝ウォルフの特殊ケースとして用い、事後分布を最もよく近似する粒子位置を反復的に選択する。
• 粒子位置のマージナルポリトープ上の制約付き最適化問題として粒子選択を定式化し、目的分布の平均要素への距離を最小化する。
• フランク＝ウォルフ法を用いて、カーネル誘導された特徴空間内で最も情報量の多い点を選択する線形部分問題を反復的に解き、粒子位置を更新する。
• 最適化された粒子集合をベイジアンフィルタリングの再帰式に統合し、各時刻で事後分布の近似を更新する。
• 理論的解析により、真の平均が定義域の凸包の相対的内部にあると仮定すると、平均要素の近似誤差はO(1/k)の収束率を示す。

実験結果

リサーチクエスチョン

• RQ1 フランク＝ウォルフ最適化は、高次元かつ非線形な状態空間モデルにおいて、サンプリング分散を低減するために効果的に適用可能か？
• RQ2 ランダムな粒子サンプリングを最適化に基づく選択に置き換えることで、標準的なモンテカルロ法や準モンテカルロ法よりも速い収束速度が得られるか？
• RQ3 RKHSに基づく四則誤差の文脈において、得られた最適化ベースの粒子フィルタリング手法にどのような理論的収束保証を設定できるか？
• RQ4 尤度評価が計算的に高コストな状況、例えば視覚ベースのロボット局在化において、実用的性能はどの程度か？
• RQ5 尤度計算が主なコスト要因である状況において、粒子数を減らしても標準的粒子フィルターよりも精度を維持できるか？

主な発見

• 提案された順次カーネルハーディング（SKH）手法は、有利な幾何的条件下では、事後分布の平均要素の近似誤差に対してO(1/k)の収束率を達成する。
• 理論的解析により、真の平均が定義域の凸包の相対的内部にある場合、誤差はO(1/k)に減少するが、これは標準的なモンテカルロ法のO(1/√k)よりも速い。
• 平均が相対的内部にない場合でも、誤差はO(1/√k)に収束するが、先行研究のフランク＝ウォルフ収束境界に見られる対数因子が存在しない。
• 合成モデルおよびロボット局在化タスクにおける実験結果から、SKHは標準的粒子フィルターや準モンテカルロ粒子フィルターよりも精度が優れていることが示された。特に尤度評価が高コストな状況で顕著である。
• 尤度評価が主なボトル neck である状況において、SKHは粒子数を減らしても高い精度を維持でき、最適化の追加コストが正当化される。