[論文レビュー] Optimization or Architecture: How to Hack Kalman Filtering

Ido Greenberg, Netanel Yannay+1 more|arXiv (Cornell University)|Oct 1, 2023

Target Tracking and Data Fusion in Sensor Networks被引用数 4

ひとこと要約

この論文は、従来のノイズ推定に頼るのではなく、教師あり学習を用いてプロセスノイズと測定ノイズのパラメータを直接最適化することで、標準カルマンフィルタを改善する最適化カルマンフィルタ（OKF）を導入する。OKFは、複数のベンチマークで標準KFおよびニューラルネットワークベースのカルマンフィルタを上回る性能を示しており、非線形モデルの見かけ上の優位性が、KFが公平に最適化されていない不適切な実験的ベースラインに起因することが明らかになった。

ABSTRACT

In non-linear filtering, it is traditional to compare non-linear architectures such as neural networks to the standard linear Kalman Filter (KF). We observe that this mixes the evaluation of two separate components: the non-linear architecture, and the parameters optimization method. In particular, the non-linear model is often optimized, whereas the reference KF model is not. We argue that both should be optimized similarly, and to that end present the Optimized KF (OKF). We demonstrate that the KF may become competitive to neural models - if optimized using OKF. This implies that experimental conclusions of certain previous studies were derived from a flawed process. The advantage of OKF over the standard KF is further studied theoretically and empirically, in a variety of problems. Conveniently, OKF can replace the KF in real-world systems by merely updating the parameters.

研究の動機と目的

• 非線形モデル（例：ニューラルネットワーク）と標準カルマンフィルタ（KF）の間の不適切な比較を是正すること。ここでは、KFは通常最適化されていないのに対し、非線形モデルは最適化されている。
• i.i.d.ガウスノイズの仮定が破られると、標準KFの性能が最適でなくなること、ノイズ推定がMSE最適化の代替手段として効果を持たないことを示すこと。
• 非線形モデルと同様の教師あり学習プロセスを用いてKFを最適化することで、線形モデルと非線形モデルの間で公平なベンチマーク評価を可能にする手法を提案すること。
• KFが適切に最適化されれば、ニューラルネットワークベースのカルマンフィルタを上回る性能を発揮できることを示し、非線形アーキテクチャの必要性を疑問視すること。

提案手法

• 線形KFアーキテクチャを維持したまま、従来のノイズ推定を、プロセス（Q）および測定（R）ノイズパラメータのエンドツーエンド教師あり最適化に置き換える最適化カルマンフィルタ（OKF）を提案する。
• 予測状態と真の状態の間の平均二乗誤差（MSE）損失を用い、観測値と真の状態が含まれるラベル付き訓練データを用いてOKFを学習する。
• ニューラルネットワークベースのカルマンフィルタ（例：NKF）と同様の最適化手順を標準KFに適用することで、線形モデルと非線形モデルの間で公平な比較を実現する。
• ノイズパラメータの更新のみで実現されるため、標準KFへのドロップイン置換としてOKFを実装し、実世界のシステムへの統合を容易にする。
• 合成データおよび実世界のデータセット（ドップラーレーダー、モーショントラッキングタスクなど）を用い、分布シフトや異なるデータサイズ下での性能を評価する。
• MSEおよび負の対数尤度（NLL）などの指標を用いて、OKFを標準KF、ニューラルKF（NKF）、およびaKFやNKFHなどの変種と比較する。

Figure 1 : Since the KF assumptions are often violated, noise estimation does not optimize the MSE. Instead, our method (OKF) optimizes the MSE directly. In particular, neural network models should be tested against OKF rather than the non-optimized KF – in contrast to the common practice in the lit

実験結果

リサーチクエスチョン

• RQ1 モデル仮定が破られても、従来の方法でノイズパラメータを推定する標準カルマンフィルタの性能は劣化するか？
• RQ2 線形カルマンフィルタと非線形ニューラルネットワークベースのカルマンフィルタが、同じ教師あり最適化目的関数で学習された場合、どちらが優れた性能を示すか？
• RQ3 非線形フィルタリング状況において、ノイズ推定がMSE最適化の有効な代理指標として機能する程度はどの程度か？
• RQ4 分布シフト下で、教師あり学習による最適化と従来の推定法とで、KFの性能はどのように変化するか？
• RQ5 非最適化KFベースラインが、非線形モデルの優位性を主張する先行研究に与える影響は何か？

主な発見

• OKFは、自由運動および一定加速度シナリオを含む、すべての評価ベンチマークで標準KFを上回り、標準KFのチューニングが最適でないことを示している。
• 自由運動ベンチマークでは、OKFが最小のMSEおよびNLLを達成し、より複雑なNKFおよびNKFHモデルですら高いNLLと不安定性を示すのに対し、優れた性能を発揮した。
• 一定加速度（Const_a）ベンチマークでは、OKFはMSEでNKFHに次いで2番目に優れた性能を示したが、NKFHは極めて高いNLLを示しており、確率的キャリブレーションが著しく劣っていることが判明した。
• ノイズ推定を用いた場合、データ量が増えるほど標準KFの性能が低下し、より多くのデータが常に推定精度を向上させるという仮定に反する結果となった。
• オラクルノイズ推定でさえ、MSE最適化を信頼性高く達成できないことから、ノイズ推定とMSE最小化の間には根本的な不一致があることが明らかになった。
• 本研究は、先行研究で非線形モデルの優位性を主張する場合、KFが最適化されていないため、その結論がしばしば不適切であることが判明した。

Figure 2 : The KF algorithm. The prediction step is based on the motion model $\tilde{F}_{t}$ with noise $\hat{Q}$ , whereas the update step is based on the observation model $\tilde{H}_{t}$ with noise $\hat{R}$ .