[論文レビュー] Equilibrium Propagation with Continual Weight Updates

Maxence Ernoult, Julie Grollier+3 more|arXiv (Cornell University)|Apr 29, 2020

Distributed Control Multi-Agent Systems参考文献 20被引用数 17

ひとこと要約

本稿では、連続的平衡伝搬（C-EP）を導入し、第二段階の平衡状態に達するまでの間、シナプス可塑性の更新を継続的に行う生物学的に妥当な学習アルゴリズムを提示する。C-EPは、学習率が十分に小さい場合、BPTT勾配を非常に良く近似する。理論的には、C-EPは、学習率が十分に小さい場合、BPTT勾配を非常に良く近似する。実験的にも、MNIST分類精度が競争力を持つことが示され、C-VF手法を用いて非対称ネットワークへの拡張がなされている。

ABSTRACT

Equilibrium Propagation (EP) is a learning algorithm that bridges Machine Learning and Neuroscience, by computing gradients closely matching those of Backpropagation Through Time (BPTT), but with a learning rule local in space. Given an input $x$ and associated target $y$, EP proceeds in two phases: in the first phase neurons evolve freely towards a first steady state; in the second phase output neurons are nudged towards $y$ until they reach a second steady state. However, in existing implementations of EP, the learning rule is not local in time: the weight update is performed after the dynamics of the second phase have converged and requires information of the first phase that is no longer available physically. In this work, we propose a version of EP named Continual Equilibrium Propagation (C-EP) where neuron and synapse dynamics occur simultaneously throughout the second phase, so that the weight update becomes local in time. Such a learning rule local both in space and time opens the possibility of an extremely energy efficient hardware implementation of EP. We prove theoretically that, provided the learning rates are sufficiently small, at each time step of the second phase the dynamics of neurons and synapses follow the gradients of the loss given by BPTT (Theorem 1). We demonstrate training with C-EP on MNIST and generalize C-EP to neural networks where neurons are connected by asymmetric connections. We show through experiments that the more the network updates follows the gradients of BPTT, the best it performs in terms of training. These results bring EP a step closer to biology by better complying with hardware constraints while maintaining its intimate link with backpropagation.

研究の動機と目的

• 既存の平衡伝搬（EP）実装における時間的非局所性、すなわち、第一段階の安定状態からの情報依存による重み更新の問題を解決すること。
• 空間的・時間的両面で局所的な学習ルールを開発し、最小限のエネルギー消費で実装可能なハードウェア実装を可能にすること。
• より生物学的に現実的で、深層学習において一般的な非対称なシナプス接続を持つネットワークへのEPの一般化を図ること。
• 小さな学習率のもとで、第二段階の間の連続的重み更新がBPTT勾配と整合していることを示すこと。
• 完全結合型および深層アーキテクチャを用いたMNISTベンチマークで、標準EPと同等の性能を示すことで、本手法の有効性を検証すること。

提案手法

• 第二段階のダイナミクス中、収束後にではなく、継続的に重み更新が行われる連続的平衡伝搬（C-EP）を提案する。
• 第二段階の各時刻ステップにおいて、連続するステップ間のネットワーク活動の差分に基づき、小さな段階的重み変更を適用する時間的更新ルールを導入する。
• 理論的基盤：十分に小さな学習率のもとで、C-EPにおけるニューロンおよびシナプスのダイナミクスが、バックプロパゲーションスルータイム（BPTT）によって計算された損失関数の勾配に従うことを証明する。この性質を勾配降下的ダイナミクス（GDD）と呼ぶ。
• Scellierら（2018）のインスピレーションを受けて、連続的ベクトル場（C-VF）アプローチを用いて、C-EPを非対称ネットワークに拡張する。これにより、シナプス重みの対称性制約を緩和する。
• 正確な勾配近似を得るための小さな学習率を用いたデバッグアルゴリズム（Alg. 5）を採用し、最終的な更新量をスケーリングして学習速度を維持する。
• リャプノフ関数を用いた離散時間RNNダイナミクスを採用し、両段階において収束性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 第二段階の間、重みを継続的に更新することで、平衡伝搬における時間的非局所性を克服できるか？
• RQ2 C-EPにおける連続的更新ルールは、小さな学習率のもとでBPTTによって計算された勾配と整合性を保っているか？
• RQ3 C-EPは、より生物学的に現実的である非対称なシナプス接続を持つニューラルネットワークへ一般化可能か？
• RQ4 MNISTのような標準ベンチマークにおいて、C-EPの訓練精度および収束速度は、標準EPと比べてどの程度か？
• RQ5 学習率の大きさがC-EPの精度に与える影響は何か？また、小さな更新量をスケーリングすることで性能を回復できるか？

主な発見

• 2層の全結合ネットワークを用いたMNISTでは、C-EPが $1.89 \pm 0.22\%$ のテスト誤差を達成し、標準EPと同等の性能を示した。
• 1層のネットワークを用いた場合、デバッグ手順（Alg. 5）を用いることで、C-EPは $2.06 \pm 0.13\%$ のテスト誤差を達成し、学習率が十分に小さい場合にBPTT勾配を良好に近似できることを確認した。
• 標準的なC-EP訓練で観察された性能の低下は、学習率が大きすぎるためである。小さな学習率を用い、最終的な更新量をスケーリングすることで、近似的に最適な性能が回復された。
• C-VF手法により、非対称接続を持つネットワークの学習が可能となり、1層の隠れ層では $4.59 \pm 0.92\%$、2層の隠れ層では $5.05 \pm 1.17\%$ のテスト誤差を達成した。
• 訓練曲線から、C-EPおよびC-VFは100エポックにわたり安定して収束しており、5回の試行においても変動が小さく、ロバスト性が示された。
• 理論的解析により、C-EPが勾配降下的ダイナミクス（GDD）の性質を示すことが確認された。これは、学習率が小さい場合、システムのダイナミクスがBPTT勾配に従うことを意味する。