[論文レビュー] The Extended Parameter Filter

Yusuf Bugra Erol, Lei Li+2 more|arXiv (Cornell University)|May 8, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 16被引用数 4

ひとこと要約

本稿では、固定次元の十分統計量を維持するためにギブスサンプリングとテイラー近似を組み合わせることで、時系列モデルにおける静的パラメータの効率的なベイズ推論を可能にする、拡張パrameterフィルタ（EPF）という新しいアルゴリズムを提案する。パラメータ事後分布を多項式展開で近似し、パrameter空間におけるカルマンフィルタに類似した更新を用いることで、1サンプルあたり定数時間の更新が達成され、高次元および非線形な設定において、パーティクルフィルターやパーティクルMCMCを著しく上回る性能を発揮する。

ABSTRACT

The parameters of temporal models, such as dynamic Bayesian networks, may be modelled in a Bayesian context as static or atemporal variables that influence transition probabilities at every time step. Particle filters fail for models that include such variables, while methods that use Gibbs sampling of parameter variables may incur a per-sample cost that grows linearly with the length of the observation sequence. Storvik devised a method for incremental computation of exact sufficient statistics that, for some cases, reduces the per-sample cost to a constant. In this paper, we demonstrate a connection between Storvik's filter and a Kalman filter in parameter space and establish more general conditions under which Storvik's filter works. Drawing on an analogy to the extended Kalman filter, we develop and analyze, both theoretically and experimentally, a Taylor approximation to the parameter posterior that allows Storvik's method to be applied to a broader class of models. Our experiments on both synthetic examples and real applications show improvement over existing methods.

研究の動機と目的

• 動的ベイジアンネットワークにおいて静的パラメータを推定する際のパーティクルフィルタの劣化問題に対処すること。
• パーティクルMCMC やリサンプリング・モーブ法などの既存手法が示す $T$ に線形に依存する計算コストを克服すること。
• 非線形・非ガウス型のモデルに一般に適用可能な推論フレームワークの開発。
• 高次元パラメータ空間においても、収束性と誤差バウンドを保証する効率的推論の実現。
• 近似手法を用いて、ストルヴィクの正確な十分統計量法をより広いモデルクラスに拡張すること。

提案手法

• 静的パラメータを潜在変数とみなして、パラメータ空間におけるフィルタリング問題としてパラメータ推定を定式化する。
• ストルヴィクのフィルタとカルマンフィルタの関係を確立し、ストルヴィクの手法がパラメータ空間におけるカルマンフィルタの特殊ケースであることを示す。
• 非線形モデルへの適用を可能にするために、パラメータ事後分布へのテイラー近似を用いた一般化手法として、拡張パラメータフィルタ（EPF）を提案する。
• 多項式近似（例：テイラー展開）を用いて、分離可能で固定次元の十分統計量を構築し、定数時間で更新可能にする。
• 各時刻でギブスサンプリングを用いてパラメータ値を更新し、EPFから得られる近似事後分布を提案分布のガイドとして用いる。
• 1時刻ごとに1回のメトロポリス・ハスティングスステップを実行し、バーンインなしで対数多項式近似事後分布からのサンプリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 パラメータに関して線形なモデルに限らない範囲へ、ストルヴィクの正確な十分統計量法を一般化できるか？
• RQ2 テイラー近似によって、非線形・非ガウス型モデルにおいて、非線形かつ非ガウス型のモデルにおいて、効率的で定数時間のパラメータ更新をどの程度達成できるか？
• RQ3 高次元または重尾型の設定において、EPFはパーティクルフィルターやパーティクルMCMCと比べて、性能および計算効率でどの程度優れているか？
• RQ4 近似の次数（例：9次または10次）が、パラメータ推定の収束速度と精度に与える影響は何か？
• RQ5 ロジスティック遷移関数を有する滑らか遷移ARモデルのような、非分離的かつ非線形なパラメータ依存性を持つモデルに対しても、EPFは対応可能か？

主な発見

• EPFは1サンプルあたり定数時間の更新を達成し、観測系列長 $T$ に依存しない時間計算量 $O(NT)$ を有する。
• カウチ動的系では、100個のパーティクルと10次近似を用いたEPFは真のパラメータ $a = 0.7$ に収束したが、パーティクルフィルターやリウ＝ウエストフィルタは失敗した、またはゆっくり収束した。
• 滑らか遷移AR（STAR）モデルでは、100個のパーティクルと9次近似を用いたEPFは真のパラメータ $ heta = (1, 3)$ を正確に推定したが、リウ＝ウエストフィルタは50,000個のパーティクルを用いても収束しなかった。
• EPFは、重尾型ノイズや非線形なパラメータ依存性を有する合成的および実世界のモデルにおいても、迅速な収束と安定した性能を示した。
• 本手法は、保証された誤差バウンドを維持し、メトロポリス・ハスティングスによる近似事後分布からの効率的サンプリングを可能にし、実用的導入を可能にする。
• 特にパーティクルフィルタが劣化する高次元または複雑なパラメータ空間において、EPFは計算効率および精度の点で既存手法を上回った。