[論文レビュー] Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family

Tohid Ardeshiri, Umut Orguner+1 more|arXiv (Cornell University)|Oct 5, 2015

Target Tracking and Data Fusion in Sensor Networks被引用数 12

ひとこと要約

本稿では、指数型分布族の事前分布の十分統計量に関して、対数尤度関数のテイラー級数近似を用いて線形化を行うベイズ推論手法を提案する。これにより、事後分布が元の指数型分布族の形を保ち、計算が軽量で効率的な推論が可能になる。本手法は拡張カルマンフィルタを一般化し、逆ワシントン分布に従うターゲット拡張を伴う拡張ターゲット追跡において実証された。

ABSTRACT

In this paper, a Bayesian inference technique based on Taylor series approximation of the logarithm of the likelihood function is presented. The proposed approximation is devised for the case, where the prior distribution belongs to the exponential family of distributions. The logarithm of the likelihood function is linearized with respect to the sufficient statistic of the prior distribution in exponential family such that the posterior obtains the same exponential family form as the prior. Similarities between the proposed method and the extended Kalman filter for nonlinear filtering are illustrated. Furthermore, an extended target measurement update for target models where the target extent is represented by a random matrix having an inverse Wishart distribution is derived. The approximate update covers the important case where the spread of measurement is due to the target extent as well as the measurement noise in the sensor.

研究の動機と目的

• 限られた計算リソースの下で大規模な問題に適した高速かつ解析的なベイズ推論手法の開発。
• 非線形尤度関数において共役事後分布が得られない問題に対処するため、対数尤度関数をテイラー級数で近似する手法を用いる。
• 事後分布が指数型分布族の形を保つようにすることで、再帰的かつ計算効率の良い更新を実現する。
• ターゲット拡張がランダム行列としてモデル化され、逆ワシントン分布を事前分布として持つ拡張ターゲット追跡への応用を拡張する。
• リアルタイムフィルタリング応用において、モンテカルロ法や変分ベイズ法の代替として、計算リソースが限られた環境でも実用的な代替手法を提供する。

提案手法

• 事前分布の十分統計量の周囲で、尤度関数の対数を一次のテイラー級数展開により近似する。
• 十分統計量に関して対数尤度を線形化し、事後分布が事前分布と同じ指数型分布族の形を保つようにする。
• 事後分布が事前分布のパrametric形式と一致するように、共役性を維持する測定値更新則を導出する。
• ターゲット拡張がランダム行列としてモデル化され、逆ワシントン分布に従う拡張ターゲット追跡に本手法を適用する。
• 時間更新において、ゆっくり変化するターゲット拡張をモデル化するため、逆ワシントン分布のパラメータを指数的忘却戦略で更新する。
• 対数尤度の線形化近似を用いて事後分布の更新を定式化し、拡張カルマンフィルタの手法に類似したアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族に属する事前分布に対して、対数尤度関数の一次テイラー近似が、事後分布においても共役性を保持できるか。
• RQ2 非線形ベイズ推論において、本手法は拡張カルマンフィルタと比較して、精度と計算コストの両面で優れているか。
• RQ3 本手法は、ターゲット拡張がランダム行列モデルで記述される拡張ターゲット追跡に効果的に適用可能か。
• RQ4 モンテカルロ法や変分ベイズ法と比較して、近似手法の推定誤差と計算効率の性能はいかが。
• RQ5 十分統計量空間における線形化点の選択に、事後分布近似がどれほど感度を示すか。

主な発見

• 提案手法により、事前分布と同じ指数型分布族の形をした事後分布が得られ、再帰的かつ計算効率の良い推論が可能になった。
• 数値シミュレーションの結果、推定誤差においてFisher-Factorized Kalman（FFK）フィルターやUnscented-Linearized（ULL）フィルターよりも同等の性能を示し、計算コストは低かった。
• 数値実験では、運動状態の推定誤差が平均±標準偏差で約0.8 mであり、拡張状態では約0.3 mであった。
• 本手法のサイクル時間はFFKやULLよりも顕著に短く、計算効率の向上が確認された。
• 時間更新における指数的忘却戦略のおかげで、ゆっくり変化するターゲット拡張に対しても、安定かつ高精度な推定が長期間にわたり維持された。
• 本手法は拡張カルマンフィルタを一般化し、計算リソースが限られたリアルタイムフィルタリング応用において、モンテカルロ法や変分ベイズ法の原理的かつ実用的な代替手段を提供した。