[論文レビュー] Predictive Coding Approximates Backprop along Arbitrary Computation Graphs

Beren Millidge, Alexander Tschantz+1 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Memory and Neural ComputingEngineering被引用数 17

ひとこと要約

この論文は、局所的かつヘブシアンな可塑性に依存する生物学的に妥当な学習フレームワークとしての予測コーディングが、任意の計算グラフに対してバックプロパゲーションを漸近的に近似できることを示している。予測コーディングネットワークが、CNN、RNN、LSTMといった複雑なモデルを、バックプロパゲーションと同等の性能で学習できることを示しており、標準的なディープラーニングアーキテクチャの生物学的に現実的な実装を可能にしている。

ABSTRACT

Backpropagation of error (backprop) is a powerful algorithm for training machine learning architectures through end-to-end differentiation. However, backprop is often criticised for lacking biological plausibility. Recently, it has been shown that backprop in multilayer-perceptrons (MLPs) can be approximated using predictive coding, a biologically-plausible process theory of cortical computation which relies only on local and Hebbian updates. The power of backprop, however, lies not in its instantiation in MLPs, but rather in the concept of automatic differentiation which allows for the optimisation of any differentiable program expressed as a computation graph. Here, we demonstrate that predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules. We apply this result to develop a straightforward strategy to translate core machine learning architectures into their predictive coding equivalents. We construct predictive coding CNNs, RNNs, and the more complex LSTMs, which include a non-layer-like branching internal graph structure and multiplicative interactions. Our models perform equivalently to backprop on challenging machine learning benchmarks, while utilising only local and (mostly) Hebbian plasticity. Our method raises the potential that standard machine learning algorithms could in principle be directly implemented in neural circuitry, and may also contribute to the development of completely distributed neuromorphic architectures.

研究の動機と目的

• ディープラーニングにおけるバックプロパゲーションの強力な最適化能力と、生物学的に妥当な学習の間のギャップを埋めること。
• 予測コーディングが、多層パーセプトロンに限らず、任意の計算グラフにおいて自動微分を近似できることを示すこと。
• 局所的接続性とヘブシアンな可塑性のみを用いて、標準的な機械学習アーキテクチャを予測コーディングの同等物に体系的に変換する手法を開発すること。
• 予測コーディングネットワークが、生物学的妥当性を保ちつつ、実世界のベンチマークでバックプロパゲーションと同等の性能を達成することを検証すること。

提案手法

• 著者たちは、変分推論と自由エネルギー最小化を用いて、予測コーディングを計算グラフ上の生成モデルの最適化として定式化する。
• 潜在変数の平均と分散のための変分更新ルールを導出し、分散には閉形式の解が得られ、最適化を簡素化する。
• システムのダイナミクスは自由エネルギーの勾配降下としてモデル化され、各ノードの更新ルールは局所的な予測誤差と局所的導関数にのみ依存する。
• 固定点方程式を導出し、システムが極限においてバックプロパゲーションの勾配と等価な解に収束することを示す。
• この手法を用いて、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、長短期記憶ネットワーク（LSTM）の予測コーディング同等物を構築する。これには、乗法的相互作用やレイヤー構造でない構造を有するモデルも含まれる。
• アプローチは、重み共有や非局所的誤差伝搬を一切必要とせず、局所的接続性とヘブシアンに似た学習ルールのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 予測コーディングは、多層パーセプトロンに限らず、任意の計算グラフにおいてもバックプロパゲーションを近似できるか？
• RQ2 予測コーディングネットワークの学習ルールが、厳密に局所的かつヘブシアンであっても、バックプロパゲーションと同等の勾配を達成できるか？
• RQ3 予測コーディングを用いて、LSTM や CNN といった複雑なアーキテクチャを、標準的なバックプロパゲーション学習と同等の性能で学習できるか？
• RQ4 一般の計算グラフにおいて、予測コーディングと自動微分の間に正式な数学的同等性があるか？
• RQ5 このフレームワークは、生成モデルにおける学習可能な精度を用いて、不確実性を考慮した学習をサポートできるか？

主な発見

• 予測コーディングは、任意の計算グラフにおいて、局所的かつヘブシアンな学習ルールのみを用いて、漸近的に正確なバックプロパゲーションの勾配に収束する。
• この手法により、CNN、RNN、LSTM の予測コーディング同等物が成功裏に構築され、複雑な内部分岐構造や乗法的相互作用を有するモデルも含む。
• 予測コーディングモデルは、困難な機械学習ベンチマークにおいて、標準的なバックプロパゲーションで学習されたモデルと同等の性能を達成した。
• 導出された結果から、最適な変分分散には閉形式の解が得られ、最適化プロセスが簡素化され、平均の更新に注力できるようになった。
• 自由エネルギー最小化プロセスから導かれた固定点方程式は、極限においてバックプロパゲーションの更新ルールを正確に回復し、数学的同等性を確認した。
• このフレームワークは、学習可能な精度を用いて不確実性を考慮した学習をサポートし、訓練中に予測の不確実性への注目を可能にする。