[論文レビュー] Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations

Axel Laborieux, Friedemann Zenke|arXiv (Cornell University)|Sep 1, 2022

Neural dynamics and brain function被引用数 6

ひとこと要約

本稿では、複素数のニューラルネットワークにおける断続的で緩徐な振動を活用して、有限振幅の教師信号を用いて正確な勾配を計算する、ホロモーフィック平衡伝搬（hEP）を紹介する。勾配は連続時間の振動における最初のフーリエ係数として抽出され、別々の学習段階を必要とせず、深層ネットワークにおいてもノイズに強く、安定した学習が可能である。ImageNet $32\times32$ において、バックプロパゲーションと同等の性能を達成している。

ABSTRACT

Equilibrium propagation (EP) is an alternative to backpropagation (BP) that allows the training of deep neural networks with local learning rules. It thus provides a compelling framework for training neuromorphic systems and understanding learning in neurobiology. However, EP requires infinitesimal teaching signals, thereby limiting its applicability in noisy physical systems. Moreover, the algorithm requires separate temporal phases and has not been applied to large-scale problems. Here we address these issues by extending EP to holomorphic networks. We show analytically that this extension naturally leads to exact gradients even for finite-amplitude teaching signals. Importantly, the gradient can be computed as the first Fourier coefficient from finite neuronal activity oscillations in continuous time without requiring separate phases. Further, we demonstrate in numerical simulations that our approach permits robust estimation of gradients in the presence of noise and that deeper models benefit from the finite teaching signals. Finally, we establish the first benchmark for EP on the ImageNet 32x32 dataset and show that it matches the performance of an equivalent network trained with BP. Our work provides analytical insights that enable scaling EP to large-scale problems and establishes a formal framework for how oscillations could support learning in biological and neuromorphic systems.

研究の動機と目的

• 古典的平衡伝搬（EP）の限界を克服すること。EPは無限小の教師信号と別々の時間的段階を必要としており、ノイズの多いニューモルフィックシステムや大規模学習には現実的でない。
• 微小なずらしや明示的な逆伝播に依存しない、生物学的に現実的な局所的学習ルールを構築し、正確な勾配を計算すること。
• 連続時間の神経系振動がフーリエ解析を通じて正確な勾配を符号化する形式的枠組みを確立し、オンライン学習を可能にすること。
• hEPがCIFAR-10/100やImageNet $32\times32$ といった大規模な視覚ベンチマークで、バックプロパゲーションと同等の性能を達成することを示すこと。
• 有限振幅の振動を用いることで、サブストレートノイズやより深いアーキテクチャの下でも、安定した学習を可能にすること。

提案手法

• 実数値のダイナミクスを複素数平面に埋め込み、神経系ダイナミクスの解析接続を可能にするホロモーフィックネットワークに平衡伝搬を拡張する。
• アディアバティックな進化中に、複素数平面における振動的活動の最初のフーリエ係数が、パラメータに関する損失関数の勾配に等しいことを導出する。
• 時間に依存する複素数値の教師信号を用いて、ネットワーク内で安定した有限振幅の振動を誘発し、別々の自由状態とずらし状態の段階を回避する。
• シナプスフィルタリング操作を用いて、神経活動の最初のフーリエ調和成分を抽出し、直接的に正確な勾配推定値を得る。
• 標準的な最適化プロトコルを用いて、浅いおよび深い畳み込みネットワークにこの手法を適用し、複素数値の重みと活性化関数を除いて、アーキテクチャの変更は一切行わない。
• 極を重み初期化と信号振幅制御により慎重に管理する複素数値のReLUおよびシグモイド型活性化関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 無限小のずらしの極限ではなく、有限振幅の教師信号を用いて、平衡伝搬が正確な勾配を計算できるか？
• RQ2 ホロモーフィックネットワークにおける連続時間の振動が、フーリエ解析を通じて正確な勾配を符号化できるか？これにより、別々の学習段階の必要がなくなるか？
• RQ3 提案された手法、ホロモーフィック平衡伝搬（hEP）は、ImageNet $32\times32$ といった大規模な視覚タスクでバックプロパゲーションと同等の性能を達成できるか？
• RQ4 物理的またはニューモルフィック実装におけるノイズに対して、hEPは古典的EPよりもどれほど頑健か？
• RQ5 hEPはより深いネットワークに適用可能か？また、そのような環境下で、一般化性能や安定性に優れているか？

主な発見

• hEPは、ホロモーフィックネットワークにおける断続的で緩やかな振動の最初のフーリエ係数を抽出することにより、有限振幅の教師信号を用いて正確な勾配を計算できることを、解析的に証明した。
• 別々の自由状態とずらし状態の段階を必要とせず、連続的な振動的ダイナミクスのみに依存して、オンライン勾配推定が可能である。
• ノイズの多い環境下でも、hEPは古典的EPを上回り、特に深いネットワークにおいてその頑健性を発揮する。これは有限振幅信号に対する耐性に起因する。
• ImageNet $32\times32$ ベンチマークにおいて、hEPはバックプロパゲーションで学習されたモデルと同等のテスト精度を達成した。EPのための最初のこのようなベンチマークを確立した。
• 数値シミュレーションにより、hEPはサブストレートノイズ下でも高い勾配精度を維持でき、適切な初期化と信号振幅制御により安定した学習が可能であることが確認された。
• 実際の応用において、複素数活性化関数の極を管理可能であることが示された。$|\beta|$、重み初期化、活性化関数を適切に選べば、ゼロ付近に安定した学習領域が得られる。