[論文レビュー] Updates of Equilibrium Prop Match Gradients of Backprop Through Time in an RNN with Static Input

Maxence Ernoult, Julie Grollier+3 more|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、RNNの遷移関数が原始関数から導かれる場合かつ定常状態が維持される条件下で、Backpropagation Through Time (BPTT) と正確に勾配一致を達成する離散時間形式の均衡伝搬（EP）を導入する。EPは、完全結合型および畳み込み型ネットワークの学習が可能であり、MNISTで約1%のテスト誤差を達成し、EPを用いた報告済みの最低水準に達している。

ABSTRACT

Equilibrium Propagation (EP) is a biologically inspired learning algorithm for convergent recurrent neural networks, i.e. RNNs that are fed by a static input x and settle to a steady state. Training convergent RNNs consists in adjusting the weights until the steady state of output neurons coincides with a target y. Convergent RNNs can also be trained with the more conventional Backpropagation Through Time (BPTT) algorithm. In its original formulation EP was described in the case of real-time neuronal dynamics, which is computationally costly. In this work, we introduce a discrete-time version of EP with simplified equations and with reduced simulation time, bringing EP closer to practical machine learning tasks. We first prove theoretically, as well as numerically that the neural and weight updates of EP, computed by forward-time dynamics, are step-by-step equal to the ones obtained by BPTT, with gradients computed backward in time. The equality is strict when the transition function of the dynamics derives from a primitive function and the steady state is maintained long enough. We then show for more standard discrete-time neural network dynamics that the same property is approximately respected and we subsequently demonstrate training with EP with equivalent performance to BPTT. In particular, we define the first convolutional architecture trained with EP achieving ~ 1% test error on MNIST, which is the lowest error reported with EP. These results can guide the development of deep neural networks trained with EP.

研究の動機と目的

• 実用的な機械学習に適した計算効率の高い離散時間形式の均衡伝搬（EP）の開発。
• 理論的および数値的に、RNNの遷移関数が原始関数から導かれる場合かつ定常状態が長期間維持される場合にEPの更新がBPTTの勾配と一致することの証明。
• EPを完全結合型および畳み込み型ネットワークを含む標準的なニューラルネットワークアーキテクチャに拡張し、BPTTと同等の性能を達成すること。
• EPのシミュレーション時間を、リアルタイムEPと比較して3〜5倍短縮することで、大規模な学習が可能になること。
• EPを用いてMNISTで報告済みの最低水準のテスト誤差を達成し、深層学習への可能性を検証すること。

提案手法

• 連続時間ダイナミクスに代えて、勾配に類似した更新ルールに基づく反復的更新ルールを用いたEPの離散時間形式を提案。
• 二段階プロセスを導入：第一段階では入力x下での定常状態活性化を計算する。第二段階では、重み更新を計算するために摂動（弾性力）を導入する。
• EPの重み更新を、変更されたエネルギー関数の勾配の差分として導出。これはBPTTの逆伝播勾配と類似している。
• GDU（勾配降下更新）条件の下で、EPの前向き時間におけるニューラル更新とBPTTの後向き時間における勾配の間の段階的対応関係を確立する。
• GDU特性を満たすために原始関数を採用し、正確な勾配一致を可能にする。
• エネルギーベースおよびプロトタイプ設定の両方で、標準的な活性化関数とハイパーパrameterを用いて、完全結合型および畳み込み型アーキテクチャに適用。学習の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 均衡伝搬が、Backpropagation Through Timeの重み更新と同一となる条件は何か？
• RQ2 EPの離散時間形式が理論的および実践的にBPTTの勾配と一致するか？
• RQ3 GDU特性は、標準的で非理想なニューラルネットワークダイナミクスにおいてどの程度成立するか？
• RQ4 EPを深層および畳み込み型ニューラルネットワークの学習に成功裏に適用できるか？ その性能はBPTTと同等か？
• RQ5 学習精度を損なわずにEPのシミュレーション時間を著しく短縮できるか？

主な発見

• 理論的解析により、RNNの遷移関数が原始関数から導かれる場合かつ定常状態が十分に長期間維持される場合、EPの更新がBPTTの勾配と正確に一致することを証明した。
• 数値実験により、理想化された設定ではGDU特性が正確に成立し、標準的でプロトタイプ的なネットワークでは概ね成立することが確認された。
• 離散時間EP形式により、リアルタイムEPと比較してシミュレーション時間を3〜5倍短縮でき、大規模な学習が可能になった。
• EPはMNIST上で畳み込みニューラルネットワークを成功裏に学習させ、テスト誤差約1%を達成した。これはEPを用いた報告済みの最低水準である。
• エネルギーベースおよびプロトタイプ設定の両方で、1〜3層の隠れ層を持つ完全結合型アーキテクチャにおいて、EPの性能がBPTTと同等であることが確認された。
• 本手法により、EPが標準的な深層学習アーキテクチャにスケーリング可能であり、バックプロパゲーションの生物学的に妥当でエネルギー効率の高い代替手段であることが示された。