[論文レビュー] A Theoretical Framework for Inference and Learning in Predictive Coding Networks

Beren Millidge, Yuhang Song+3 more|arXiv (Cornell University)|Jul 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

この論文は、予測符号化ネットワーク（PCN）の理論的基盤を確立し、前向き設定で訓練されたPCNが、推論段階で目標伝播（TP）と解析的に関連した解に収束することを示している。また、学習段階では、バックプロパゲーション損失関数の臨界点に収束する制約付き一般化期待最大化（EM）アルゴリズムを実装しており、標準的状況下でバックプロパゲーションを近似しないにもかかわらず、オンライン学習、少数のサンプルでの学習、継続的学習において優れた性能を示す理由を理論的に裏付けている。

ABSTRACT

Predictive coding (PC) is an influential theory in computational neuroscience, which argues that the cortex forms unsupervised world models by implementing a hierarchical process of prediction error minimization. PC networks (PCNs) are trained in two phases. First, neural activities are updated to optimize the network's response to external stimuli. Second, synaptic weights are updated to consolidate this change in activity -- an algorithm called \emph{prospective configuration}. While previous work has shown how in various limits, PCNs can be found to approximate backpropagation (BP), recent work has demonstrated that PCNs operating in this standard regime, which does not approximate BP, nevertheless obtain competitive training and generalization performance to BP-trained networks while outperforming them on tasks such as online, few-shot, and continual learning, where brains are known to excel. Despite this promising empirical performance, little is understood theoretically about the properties and dynamics of PCNs in this regime. In this paper, we provide a comprehensive theoretical analysis of the properties of PCNs trained with prospective configuration. We first derive analytical results concerning the inference equilibrium for PCNs and a previously unknown close connection relationship to target propagation (TP). Secondly, we provide a theoretical analysis of learning in PCNs as a variant of generalized expectation-maximization and use that to prove the convergence of PCNs to critical points of the BP loss function, thus showing that deep PCNs can, in theory, achieve the same generalization performance as BP, while maintaining their unique advantages.

研究の動機と目的

• 予測符号化ネットワーク（PCN）の推論および学習ダイナミクスを、標準的状況下でバックプロパゲーションを近似しない前向き設定で訓練した場合に、理論的に理解すること。
• PCNの推論と目標伝播（TP）の間の明示的関係を確立し、推論の均衡状態が、フィードフォワード活性とTPターゲットの重み付き平均であることを示すこと。
• PCNの学習を、期待値の最大化（EM）の変種として解釈し、期待値のステップに制約を課すことで、その訓練ダイナミクスの原理的理論的根拠を提供すること。
• PCNが標準的なバックプロパゲーション損失関数の臨界点に収束することを証明し、非BPの訓練ダイナミクスにもかかわらず、優れた一般化性能を示す根拠を提供すること。
• PCNにおける残差誤差項を、活動の偏差に関するガウス事前分布としてベイジアンに解釈し、代替の事前分布を用いることで原理的な一般化を可能にすること。

提案手法

• 線形PCNにおける推論均衡の解析的表現を導出し、フィードフォワード活性と目標伝播ターゲットのバランスに起因することを示し、フィードバックとフィードフォワードの精度比によって制御されることを示す。
• 固定点反復を用いて非線形PCNへの分析を拡張し、閉形式解が存在しない場合でも、同じ均衡の直感的構造が維持されることを確認する。
• 学習段階を制約付き一般化期待最大化（EM）アルゴリズムとして再定式化し、Eステップが予測符号化の推論プロセスによって制限されることを示す。
• 推論目的の構造とEM解釈を用いて、PCN学習アルゴリズムがバックプロパゲーション損失関数の臨界点に収束することを証明する。
• 予測符号化目的関数における残差誤差項を、低層の予測からの活動の偏差に関するベイジアン事前分布として解釈し、特にガウス事前分布であることを特定する。
• データ固有の事前分布（例：対数正規分布）にガウス事前分布を置き換えることで、PCNの一般化を提案し、構造的データ分布に対する誘導的バイアスと効率を向上させることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形アーキテクチャにおける予測符号化ネットワークの推論均衡は、目標伝播（TP）とどのように関係しているか？
• RQ2 前向き設定で訓練されたPCNの学習ダイナミクスの理論的根拠は何か？ また、バックプロパゲーションとはどのように異なるか？
• RQ3 PCNの学習プロセスは、一般化期待最大化（EM）の変種として正式に解釈可能か？ もしそうであれば、収束特性は何か？
• RQ4 予測符号化目的関数における残差誤差項の役割は何か？ また、ベイジアンフレームワーク内でどのように解釈できるか？
• RQ5 現在のガウス仮定を超えて、代替の事前分布を用いた理論枠組みを拡張可能か？ これにより、特定のデータタイプに対する誘導的バイアスを向上させられるか？

主な発見

• 線形PCNにおける推論均衡は、フィードフォワード活性と目標伝播ターゲットの重み付き平均と数学的に同等であり、重みはフィードバックとフィードフォワードの精度比によって決定される。
• 非線形PCNにおいても、閉形式解が存在しない場合でも、同じ直感的構造が維持され、固定点反復のシミュレーションで確認されている。
• 前向き設定で訓練されたPCNの学習段階は、制約付き一般化期待最大化（EM）アルゴリズムとして正式に解釈可能であり、バックプロパゲーション損失関数の臨界点への収束を保証する。
• 予測符号化目的関数における残差誤差項は、低層の予測からの活動の偏差に関するガウス事前分布に対応し、原理的なベイジアン解釈を提供する。
• 理論的枠組みは、現在のガウス事前分布をデータ固有の事前分布（例：対数正規分布やパワー則分布）に置き換えることで、PCNの一般化を可能にし、構造的データに対して誘導的バイアスと推論効率を向上させる可能性を示唆する。
• MNISTおよびFashion-MNISTにおける実験結果から、前向き設定で訓練されたPCNはバックプロパゲーションと同等の性能を示し、オンライン学習、少数のサンプルでの学習、継続的学習の場面で優れた性能を発揮しており、BP損失の臨界点への理論的収束と整合的である。