[論文レビュー] On Kalman-Bucy filters, linear quadratic control and active inference

Manuel Baltieri, Christopher L. Buckley|arXiv (Cornell University)|May 13, 2020

Neural dynamics and brain function参考文献 98被引用数 6

ひとこと要約

この論文は連続時間線形系における線形二次ガウス（LQG）制御とアクティブインファレンスを比較し、ベイジアン推論と最適制御の共通する数学的基盤を明らかにするとともに、コスト関数形、推定戦略、実装の仮定における主要な相違点を強調している。中心的貢献は、両フレームワークの正式な対応を示しており、アクティブインファレンスが推論と制御を変分自由エネルギー最小化フレームワークに統合することでLQGを一般化していることを示しているが、リッカティに基づくゲインを明示せず、学習率や局所線形化などの近似に依存している点に留意される。

ABSTRACT

Linear Quadratic Gaussian (LQG) control is a framework first introduced in control theory that provides an optimal solution to linear problems of regulation in the presence of uncertainty. This framework combines Kalman-Bucy filters for the estimation of hidden states with Linear Quadratic Regulators for the control of their dynamics. Nowadays, LQG is also a common paradigm in neuroscience, where it is used to characterise different approaches to sensorimotor control based on state estimators, forward and inverse models. According to this paradigm, perception can be seen as a process of Bayesian inference and action as a process of optimal control. Recently, active inference has been introduced as a process theory derived from a variational approximation of Bayesian inference problems that describes, among others, perception and action in terms of (variational and expected) free energy minimisation. Active inference relies on a mathematical formalism similar to LQG, but offers a rather different perspective on problems of sensorimotor control in biological systems based on a process of biased perception. In this note we compare the mathematical treatments of these two frameworks for linear systems, focusing on their respective assumptions and highlighting their commonalities and technical differences.

研究の動機と目的

• LQG制御とアクティブインファレンスの関係を明確化すること。両者は数学的根拠を共有しているが、感覚運動制御における予測に異なる結果をもたらす。
• 連続時間線形系における両フレームワークの数学的定式化を分析すること。特に、推定（カルマン＝ブチャットフィルタ）と制御（LQR）の構成要素に焦点を当てる。
• 両者の仮定、コスト関数形、実装戦略における技術的相違点を特定すること。特にカルマンゲインとフィードバックゲインの使用に関する相違点に注目する。
• アクティブインファレンスがLQGの一般化と見なせるかどうかを評価すること。特に、変分自由エネルギー最小化とコスト・トゥ・ゴール最適化の観点から検討する。
• これらの相違点が、計算神経科学における神経的・認知的プロセスのモデリングに与える含意を強調すること。

提案手法

• LQGとアクティブインファレンスの正式な比較を、標準的定式化を用いて連続時間系で実施。最適フィードバック制御などの高度な拡張は除外。
• カルマン＝ブチャットフィルタとLQRをLQGの構成要素として導出し、最適推定と制御のための分離原理に依拠する。
• LQGにおけるコスト・トゥ・ゴール関数形の使用。時間にわたる推定誤差と制御コストの積分として定義され、将来の期待コストを最小化する。
• アクティブインファレンスにおける変分自由エネルギー最小化の適用。コスト関数形には尤度と事前分布からの予測誤差が含まれる。
• LQGにおけるゲイン行列K（カルマンゲイン）とL（フィードバックゲイン）の役割と、標準的アクティブインファレンスにおけるそれらの不在を比較。代わりに学習率や局所線形化が用いられる。
• アクティブインファレンスにおけるリッカティ方程式の不在を分析。LQGにおけるその中心的役割と対比し、消去記憶付きカルマンフィルタが潜在的な接続として機能しうることを議論。

実験結果

リサーチクエスチョン

• RQ1 LQG（コスト・トゥ・ゴール）とアクティブインファレンス（変分自由エネルギー）のコスト関数形は、構造的および制御方策への含意においてどのように異なるか？
• RQ2 アクティブインファレンスとLQGは、線形連続時間系において、どの程度同じ数学的基盤を共有しているか？
• RQ3 標準的アクティブインファレンス定式化が、LQGと同様にカルマンゲインおよびフィードバックゲインのリッカティ型方程式を明示的に含まないのはなぜか？
• RQ4 LQG（後から算出される分散）とアクティブインファレンス（確率的・ベイジアン解釈）における不確実性と推定に関する仮定は、どのように異なるか？
• RQ5 アクティブインファレンスは、消去記憶付き仮定の下でカルマンフィルタの特別な場合と解釈できるか？その場合、LQGとの関係にどのような含意が生じるか？

主な発見

• LQGにおけるコスト・トゥ・ゴール関数形は将来のコストを時間にわたって統合するが、アクティブインファレンスにおける変分自由エネルギーは時間に依存しない。これは、無限時間限界において固定されたフィードバック方策が得られることを示唆する。
• 線形・ガウス的仮定を共有しているにもかかわらず、アクティブインファレンスは明示的なカルマンゲインやフィードバックゲインを使用せず、学習率や局所線形化によるオンライン適応に依存している。
• 標準的アクティブインファレンス定式化におけるリッカティ方程式の不在は、LQGの解析的最適性フレームワークからの根本的乖離を示しており、両者とも不確実性と制御誤差の最小化を目的としているにもかかわらず、その点に留意される。
• アクティブインファレンスの自由エネルギー関数形には、尤度と事前分布の結合からの複数の予測誤差が含まれており、LQGの最小二乗法とは対照的にベイジアン導出を反映している。
• 消去記憶付きカルマンフィルタは自然勾配降下法やガウス＝ニュートン法と関連づけられ、これはアクティブインファレンスが特定の仮定の下で拡張カルマンフィルタの特別な場合として現れる可能性を示唆する。
• 両フレームワークは同等ではない。アクティブインファレンスは推論と制御を統一された変分自由エネルギー最小化フレームワークに埋め込むことでLQGを一般化しているが、その代償として明示的かつ解析的に導出されたゲイン行列を失っている。