[論文レビュー] Natural selection finds natural gradient

Lancelot Da Costa, Thomas Parr+2 more|arXiv (Cornell University)|Jan 22, 2020

Neural dynamics and brain function参考文献 85被引用数 9

ひとこと要約

本稿では、脳におけるアクティブインファレンスが、情報幾何学における計算的に最適な最適化手法であるネイチャルグラデントディセントを近似すると提案している。自由エネルギー最小化に基づくニューロンのダイナミクスがネイチャルグラデント更新と整合することを示唆することで、進化は情報空間における効率的な信念更新を暗黙的に行う神経メカニズムを選択したかもしれないと示している。

ABSTRACT

Active inference provides a biologically plausible process theory of brain function. It specifies neuronal dynamics for state-estimation in terms of a gradient descent on (variational) free energy -- a measure of the fit between an internal (generative) model and sensory observations. When formulated for discrete state-space generative models, the free energy gradient turns out to be a prediction error -- plausibly encoded in the average membrane potentials of neuronal populations. Conversely, the expected probability of a state can then be expressed in terms of firing rates. We establish a construct validity to this scheme -- by showing that it is consistent with current models of neuronal dynamics -- and face validity, as it is able to synthesize a wide range of biologically plausible electrophysiological responses. We then show that these neuronal dynamics approximate natural gradient descent, a well-known optimisation algorithm from information geometry that prescribes locally optimal belief updates. Lastly, numerical simulations suggest that both schemes perform equally well on average. The performance of belief updating is scored in terms of information length, a measure of the distance traveled in information space, which has a direct interpretation in terms of metabolic efficiency. These results show that active inference is consistent with state-of-the-art models of neuronal dynamics and coincides with the natural gradient. This suggests that natural selection, by selecting the phenotypes that optimise metabolic and computational efficiency, has implicitly approximated the steepest direction in information space; namely, natural gradient descent.

研究の動機と目的

• アクティブインファレンスとネイチャルグラデントディセントの間の生物学的に妥当な関係を神経計算において確立すること。
• 自由エネルギー最小化に基づくニューロンのダイナミクスが、既知の神経活動モデルと整合することを検証すること。
• アクティブインファレンスが情報効率の観点でネイチャルグラデントディセントと同等に機能するかどうかを調査すること。
• この整合性が、脳機能の進化的最適化を理解する上で示す意味を探索すること。

提案手法

• 離散状態空間生成モデルにおける変分的自由エネルギー最小化を用いてアクティブインファレンスを定式化する。
• 予測誤差を平均膜電位によって表現し、信念をニューロンの放電率によって表現する。
• 自由エネルギー勾配を導出し、それが情報幾何学におけるネイチャルグラデントディセントに対応することを示す。
• 数値シミュレーションを用いて、情報長（代謝コストの代理指標）を指標として、アクティブインファレンスとネイチャルグラデントディセントの性能を比較する。
• 情報幾何学を用いて信念空間における移動距離を定量化し、代謝効率と結びつける。
• 既知のニューロンのダイナミクスと一致させることで構造的妥当性を確立し、電気生理学的応答パターンによる外見的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブインファレンスのニューロンのダイナミクスは、情報空間におけるネイチャルグラデントディセントを近似するか？
• RQ2 情報長および代謝効率の観点から、アクティブインファレンスの性能はネイチャルグラデントディセントと比べてどうか？
• RQ3 提案されたフレームワークは、生物学的に妥当な電気生理学的応答を再現できるか？
• RQ4 ネイチャルグラデントディセントと神経計算の進化的最適化の間に直接的な関連があるか？
• RQ5 自由エネルギー最小化は、情報空間における勾配降下の最も急な降下を近似する役割を果たすのか？

主な発見

• アクティブインファレンスのニューロンのダイナミクスは、現在の神経ダイナミクスモデルと整合しており、構造的妥当性が確立された。
• 離散状態空間モデルにおける自由エネルギー勾配は予測誤差に対応し、平均膜電位に妥当に符号化される可能性がある。
• アクティブインファレンスにおける信念更新メカニズムは、局所的に最適な最適化手法であるネイチャルグラデントディセントを近似している。
• 数値シミュレーションの結果、アクティブインファレンスとネイチャルグラデントディセントは、情報長の観点で平均的に同等の性能を示した。
• ネイチャルグラデントディセントとの整合性は、自然選択が情報空間における最も急な降下を暗黙的に最適化した可能性を示唆している。
• 結果から、脳の代謝効率は、ネイチャルグラデントディセントを近似する神経メカニズムの進化的選択に起因する可能性があると示唆される。