[論文レビュー] Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?

Beren Millidge, Tommaso Salvatori+3 more|arXiv (Cornell University)|Feb 18, 2022

Functional Brain Connectivity Studies被引用数 7

ひとこと要約

本論文は、深層学習における誤差逆伝播法の生物学的に妥当な代替手法として予測符号化（PC）を提案し、局所的で誤差駆動の更新ルールを活用することで、任意のグラフトポロジー上でスケーラブルかつ並列化可能な学習を可能にしている。PCネットワークは分類タスクにおいて誤差逆伝播法と同等の性能を達成するとともに、生成モデル、連想記憶、統合推論制御システムとしての優れた柔軟性を示している。

ABSTRACT

The backpropagation of error algorithm used to train deep neural networks has been fundamental to the successes of deep learning. However, it requires sequential backward updates and non-local computations, which make it challenging to parallelize at scale and is unlike how learning works in the brain. Neuroscience-inspired learning algorithms, however, such as \emph{predictive coding}, which utilize local learning, have the potential to overcome these limitations and advance beyond current deep learning technologies. While predictive coding originated in theoretical neuroscience as a model of information processing in the cortex, recent work has developed the idea into a general-purpose algorithm able to train neural networks using only local computations. In this survey, we review works that have contributed to this perspective and demonstrate the close theoretical connections between predictive coding and backpropagation, as well as works that highlight the multiple advantages of using predictive coding models over backpropagation-trained neural networks. Specifically, we show the substantially greater flexibility of predictive coding networks against equivalent deep neural networks, which can function as classifiers, generators, and associative memories simultaneously, and can be defined on arbitrary graph topologies. Finally, we review direct benchmarks of predictive coding networks on machine learning classification tasks, as well as its close connections to control theory and applications in robotics.

研究の動機と目的

• 局所的で生物学的に妥当な学習ルールを活用することで、予測符号化（PC）が深層学習における誤差逆伝播法の実用的代替手段として機能しうるかを調査すること。
• PCと誤差逆伝播法の間の理論的関係を確立し、特定の条件下でPCのパラメータ更新が数学的に誤差逆伝播と同等であることを示すこと。
• PCネットワーク（PCN）が、任意のグラフ構造上で同時に分類器、生成モデル、連想記憶として機能できることを示し、その優れた柔軟性を強調すること。
• 大規模な機械学習ベンチマークにおいてPCNを直接評価し、同等のアーキテクチャを用いた誤差逆伝播法で学習されたネットワークと性能を比較すること。
• PCNがロボティクスや制御分野においてどのように活用できるかを検討し、アクティブインファレンスおよび制御＝推論フレームワークと統合すること。

提案手法

• ガウス型生成モデルの下で自由エネルギー原理の特別なケースとして予測符号化ネットワーク（PCN）を導出し、変分推論と学習を可能にする。
• 層間を伝搬する予測誤差に基づく局所的シナプス更新を用い、重み行列を介した非局所的誤差逆伝播の必要性を排除する。
• 誤差駆動学習を用いて画像分類タスクでPCNを学習するアルゴリズムを適用し、階層的アーキテクチャにおいて推論と学習を同時に実行する。
• PCNを確率的グラフィカルモデルとしてモデル化し、変分自由エネルギーの最小化によって推論を実現することで、アクティブインファレンスを介した状態推定と制御の統合を可能にする。
• 行動ノードを所望の結果に条件づけることで、一元的なフレームワークを構築し、ロボットシステムにおける制御＝推論を実現する。
• 標準的な機械学習データセットに対して直接ベンチマークを実施し、同等のアーキテクチャ下でPCNの性能を標準的な誤差逆伝播法ネットワークと比較する。

実験結果

リサーチクエスチョン

• RQ1 予測符号化ネットワークにおける重み更新ルールは、誤差逆伝播法で学習された人工ニューラルネットワークのそれらとどのように関係しているか？
• RQ2 予測符号化ネットワークは、標準的な機械学習ベンチマークにおいて、誤差逆伝播法で学習されたネットワークと同等の性能を達成できるか？
• RQ3 任意のグラフトポロジーの処理や複数の推論タスクへの対応といった面で、予測符号化が示すアーキテクチャの柔軟性の利点は何か？
• RQ4 PCの更新の局所性は、誤差逆伝播法と比較して、並列処理の可能性を高め、神経形状ハードウェアに適しているとされる根拠は何か？
• RQ5 欠損データ処理、生成モデル、統合推論・制御といったタスクにおいて、予測符号化が誤差逆伝播法を上回る場面はどのようなものか？

主な発見

• PCNは、非局所的誤差逆伝播を用いずに、局所的で誤差駆動の更新のみを用いても、標準的なベンチマークで誤差逆伝播法で学習されたネットワークと同等の分類性能を達成している。
• PCNは、同じアーキテクチャ内で同時に分類器、生成モデル、連想記憶として機能でき、従来のANNが各タスクごとに別々に学習を必要とすることとは対照的である。
• ガウス型生成モデルと線形化推論の下で、PCと誤差逆伝播法の数学的同等性が成立し、両者の間の強い理論的つながりが確立された。
• PCNは欠損データの処理において優れた柔軟性を示しており、入力が不完全であっても自然に推論が可能であるのに対し、ANNはヒューリスティックな補完戦略を必要とする。
• PCNにおける重み更新の局所性のおかげで、並列処理がより容易になり、通信オーバーヘッドが低減され、神経形状ハードウェアにおける大規模学習に適している。
• アクティブインファレンス原理を用いて制御を推論として定式化することで、ドローンやクアッドコpterの制御など、ロボティクスおよび制御タスクへのPCNの応用が成功裏に実現された。