[論文レビュー] Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks

Tommaso Salvatori, Yuhang Song+3 more|arXiv (Cornell University)|Mar 5, 2021

Neural dynamics and brain function参考文献 32被引用数 17

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）および再帰的ニューラルネットワーク（RNN）において、バックプロパゲーション（BP）を正確に再現する生物学的に妥当なアルゴリズム、ゼロ発散推論学習（Z-IL）を提案する。推論学習を再定式化することで収束要件を排除し、計算コストを低減することで、Z-ILは標準的なBPと比較して僅かなオーバーヘッドでBPに相当する性能を達成し、CNNやRNNといった複雑なアーキテクチャにおいて、このような性質を持つ最初の手法である。

ABSTRACT

Predictive coding networks (PCNs) are an influential model for information processing in the brain. They have appealing theoretical interpretations and offer a single mechanism that accounts for diverse perceptual phenomena of the brain. On the other hand, backpropagation (BP) is commonly regarded to be the most successful learning method in modern machine learning. Thus, it is exciting that recent work formulates inference learning (IL) that trains PCNs to approximate BP. However, there are several remaining critical issues: (i) IL is an approximation to BP with unrealistic/non-trivial requirements, (ii) IL approximates BP in single-step weight updates; whether it leads to the same point as BP after the weight updates are conducted for more steps is unknown, and (iii) IL is computationally significantly more costly than BP. To solve these issues, a variant of IL that is strictly equivalent to BP in fully connected networks has been proposed. In this work, we build on this result by showing that it also holds for more complex architectures, namely, convolutional neural networks and (many-to-one) recurrent neural networks. To our knowledge, we are the first to show that a biologically plausible algorithm is able to exactly replicate the accuracy of BP on such complex architectures, bridging the existing gap between IL and BP, and setting an unprecedented performance for PCNs, which can now be considered as efficient alternatives to BP.

研究の動機と目的

• 推論学習（IL）の限界、特に非自明な収束要件と高い計算コストを有するBPの近似に起因する問題を解決すること。
• 予測コーディングネットワークを介した生物学的に妥当な学習と、複雑なディープラーニングモデルにおけるBPの成功の間のギャップを埋めること。
• ILの一種であるZ-ILが、畳み込みおよび多対一の再帰的ニューラルネットワークにおいて、BPのダイナミクスを正確に再現できることを示すこと。
• Z-ILが計算的に効率的であり、ILで一般的に必要なT ≈ 100–200ステップから、信号伝達に必要な最小深度l_maxにまで推論ステップを削減できることを示すこと。
• Z-ILを機械学習および神経科学の文脈において、BPの実用的で高性能な代替手段として確立すること。

提案手法

• Z-ILは、畳み込みおよび多くの入力から1つの出力への再帰的ニューラルネットワークに対して、BPと完全に一致する正確な重み更新式を導出することで、推論学習を再定式化する。
• この手法は、均衡状態への収束を要しないように変更された推論プロセスを用い、安定性に達するまでの反復的推論の必要性を排除する。
• 非線形で深いアーキテクチャにおいても、BPと正確に同じように誤差信号が伝搬されるようにする、新しいフィードバック機構を導入する。
• アルゴリズムは、入力から出力への情報伝達に必要な最小限の推論ステップ数（l_max）に基づいて重み更新を計算するが、ILのようにTステップを要するのではなく、これにより計算コストを削減する。
• 理論的導出は自由エネルギー最小化および変分推論に基づいており、生物学的妥当性を保ちつつ、BPと数学的に同等の結果を達成する。
• 実験的検証は、複数のアーキテクチャ（CNN、RNN）およびデータセット（FashionMNIST、ImageNet、アーケードゲーム）を用いて実施され、実行時間と精度の比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当な学習アルゴリズムが、畳み込みおよび再帰的ネットワークのような複雑なディープラーニングアーキテクチャにおいて、バックプロパゲーションの重み更新を正確に再現できるか？
• RQ2 Z-ILは、従来のIL手法において非自明で現実的でない均衡状態への収束を要する推論プロセスの必要性を排除できるか？
• RQ3 Z-ILは、標準的な推論学習と比較して、顕著に低い計算コストでBPに相当する性能を達成できるか？
• RQ4 Z-ILとBPの同等性は、単一の更新ステップにとどまらず、複数の重み更新ステップにわたり保持されるか？
• RQ5 Z-ILは、ImageNet分類のような大規模なタスクにおいて、BPの精度と効率性を維持しながら、生物学的妥当性を保っているか？

主な発見

• Z-ILは、畳み込みおよび再帰的ニューラルネットワークの両方において、バックプロパゲーションの重み更新を正確に再現し、数学的同等性を証明した。
• 必要な推論ステップ数を、ILで一般的に必要なT ≈ 100–200から、信号伝達に必要な最小深度l_maxにまで削減し、計算コストを顕著に低減した。
• 平均して、Z-ILは、ANNで1回の重み更新あたり3.81ms、RNNで5.67ms、CNNで8.86msで実行され、BP（それぞれ3.72ms、5.64ms、8.72ms）と比較してわずかなオーバーヘッドにとどまる。
• 一方、ILは1回の更新あたり約594ms（ANN）、約420ms（RNN）、約661ms（CNN）を要し、BPの100倍以上も遅い。
• Z-ILはImageNetおよびアーケードゲームにおいて、BPと同等の精度を達成し、複雑なタスクにおいてBPの実用的で効率的な代替手段であることを示した。
• 結果から、Z-ILはBPと理論的に同等であるだけでなく、ILと比較して桁違いの高速化を達成しており、計算的に実行可能であることが示された。