[論文レビュー] Predictive Coding: a Theoretical and Experimental Review

Beren Millidge, Anil K. Seth+1 more|arXiv (Cornell University)|Jul 27, 2021

Neural dynamics and brain function参考文献 164被引用数 26

ひとこと要約

この論文は、Predictive Coding をベイズ的変分推論フレームワークとして調査し、その数理構造、神経実装、および機械学習および制御理論への接続をレビューします。

ABSTRACT

Predictive coding offers a potentially unifying account of cortical function -- postulating that the core function of the brain is to minimize prediction errors with respect to a generative model of the world. The theory is closely related to the Bayesian brain framework and, over the last two decades, has gained substantial influence in the fields of theoretical and cognitive neuroscience. A large body of research has arisen based on both empirically testing improved and extended theoretical and mathematical models of predictive coding, as well as in evaluating their potential biological plausibility for implementation in the brain and the concrete neurophysiological and psychological predictions made by the theory. Despite this enduring popularity, however, no comprehensive review of predictive coding theory, and especially of recent developments in this field, exists. Here, we provide a comprehensive review both of the core mathematical structure and logic of predictive coding, thus complementing recent tutorials in the literature. We also review a wide range of classic and recent work within the framework, ranging from the neurobiologically realistic microcircuits that could implement predictive coding, to the close relationship between predictive coding and the widely-used backpropagation of error algorithm, as well as surveying the close relationships between predictive coding and modern machine learning techniques.

研究の動機と目的

• Predictive Coding の確率論的（変分）フレームワーク内でのコア数理構造と論理を要約する。
• 神経生物学的妥当性と提案された皮質微小回路の実装を調査する。
• Predictive Coding と機械学習手法（backpropagation および normalizing flows を含む）の接続をレビューする。
• ダイナミクス、精度、行動/アクティブ推論への拡張を探る。

提案手法

• Gaussian生成モデルを用いた変分推論として Predictive Coding を位置づける。
• Derive predictive coding update rules from the variational free energy. Define prediction errors and their role in updating states and parameters.
• 事後分布と生成モデルの学習を EM様の最適化のように交互に行う。
• Predictive Coding を古典的アルゴリズム（Kalman filtering、backpropagation）およびアクティブ推論との関連について論じる。

実験結果

リサーチクエスチョン

• RQ1 Predictive Coding を近似ベイズ推論過程としてどのように定式化できるか。
• RQ2 階層全体で予測誤差を最小化する Predictive Coding の数学的機構は何か。
• RQ3 生物学的に妥当な neural microcircuits に Predictive Coding をどのように実装できるか。
• RQ4 Predictive Coding と backpropagation や normalizing flows のような既存の機械学習手法との関係は何か。
• RQ5 ダイナミクス、精度、アクションは Predictive Coding の枠組みにどのように統合されるか？（アクティブ推論を含む）

主な発見

• Predictive coding は自由エネルギー界を最小化する変分推論として再定式化できる。
• エネルギー項は重み付き予測誤差の和へ縮約され、知覚と学習を結びつける。
• 勾配降下に基づく更新は階層モデルにおける状態とパラメータ学習の具体的な規則を生み出す。
• 一定の仮定の下で、Kalman filtering や backpropagation といった既存アルゴリズムと枠組みが結びつく。
• ダイナミクス、精度、アクションへの拡張は Predictive Coding をアクティブ推論と制御理論へ結びつける。