[論文レビュー] Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation

Benjamin Scellier, Yoshua Bengio|arXiv (Cornell University)|Feb 16, 2016

Advanced Memory and Neural Computing参考文献 30被引用数 15

ひとこと要約

この論文は、エネルギーに基づくモデルのための生物学的に妥当な学習フレームワーク「均衡伝搬（Equilibrium Propagation）」を導入している。この手法は、推論段階と誤差逆伝播段階の両方で同一の神経計算を用い、勾配を計算する。第二段階で出力ユニットを目標値に向けてわずかにずらすことで、再帰的ダイナミクスを通じて誤差の導関数を暗黙的に逆伝播させ、別個の誤差伝播回路や対称的重みの仮定を必要としない明確に定義された目的関数に対する勾配降下を達成する。

ABSTRACT

We introduce Equilibrium Propagation, a learning framework for energy-based models. It involves only one kind of neural computation, performed in both the first phase (when the prediction is made) and the second phase of training (after the target or prediction error is revealed). Although this algorithm computes the gradient of an objective function just like Backpropagation, it does not need a special computation or circuit for the second phase, where errors are implicitly propagated. Equilibrium Propagation shares similarities with Contrastive Hebbian Learning and Contrastive Divergence while solving the theoretical issues of both algorithms: our algorithm computes the gradient of a well defined objective function. Because the objective function is defined in terms of local perturbations, the second phase of Equilibrium Propagation corresponds to only nudging the prediction (fixed point, or stationary distribution) towards a configuration that reduces prediction error. In the case of a recurrent multi-layer supervised network, the output units are slightly nudged towards their target in the second phase, and the perturbation introduced at the output layer propagates backward in the hidden layers. We show that the signal 'back-propagated' during this second phase corresponds to the propagation of error derivatives and encodes the gradient of the objective function, when the synaptic update corresponds to a standard form of spike-timing dependent plasticity. This work makes it more plausible that a mechanism similar to Backpropagation could be implemented by brains, since leaky integrator neural computation performs both inference and error back-propagation in our model. The only local difference between the two phases is whether synaptic changes are allowed or not.

研究の動機と目的

• 別個の誤差伝播回路を必要としない生物学的に妥当なバックプロパゲーションの代替手法を開発すること。
• 対照的学習法（例：対照的ヘブ学習や対照的発散）における理論的問題を解決すること。
• 小さな局所的摂動を用いて、再帰的ダイナミクスを通じて誤差の導関数を暗黙的に逆伝播できることを示すこと。
• スパイク時刻依存可塑性（STDP）ルールを介して、均衡ダイナミクスと勾配降下の間に接続を確立すること。
• このフレームワークを用いて、MNIST上で深層再帰的ネットワークの学習が可能であることを実証すること。

提案手法

• 推論と誤差伝播の両方で、漏れ積分器ダイナミクスを有する単一の再帰的ニューラルネットワークを用いる。
• 二段階のプロセスを実行する：第一に、入力が固定された状態でネットワークが固定点に収束する（推論）；第二に、出力ユニットが目標値に向けてわずかにずらされる（学習）。
• 第二段階のダイナミクスが、シナプス重みの更新を通じて、隠れ層を介して誤差の導関数を暗黙的に逆伝播させる。
• シナプスの更新は、第一段階の固定点のエネルギーを増加させ、第二段階の固定点のエネルギーを減少させる対照的ヘブルールに従う。
• Bengioら（2017）の結果を活用し、第二段階における初期の神経活動の変化が誤差の導関数に対応することを示す。
• 二乗誤差目的関数の勾配に基づいて導出された学習ルールを採用し、シナプス重みの更新は、シナプス後活動の時間微分に基づく。

実験結果

リサーチクエスチョン

• RQ1 単一の神経計算メカニズムが、生物学的に妥当な方法で推論と誤差の逆伝播の両方を実行できるか？
• RQ2 小さな摂動による暗黙の誤差逆伝播が、エネルギーに基づくモデルの学習に正しい勾配をもたらすか？
• RQ3 第二段階のダイナミクスは、再帰的ネットワークにおける損失関数の真の勾配とどのように関係するか？
• RQ4 均衡伝搬は、MNISTのような現実世界のタスクにおいて、深く多層の再帰的ネットワークを学習可能か？
• RQ5 提示されたダイナミクス下で、シナプス更新ルールはスパイク時刻依存可塑性（STDP）の一種と同等か？

主な発見

• 均衡伝搬は、別個のバックプロパゲーション回路を必要とせず、明確に定義された目的関数（二乗誤差）の勾配を計算する。
• 第二段階のダイナミクスが、隠れ層を介して誤差の導関数を暗黙的に逆伝播させ、損失関数の真の勾配と一致する。
• シナプス更新ルールは、生物学的に妥当なスパイク時刻依存可塑性（STDP）の一種に対応しており、生物学的妥当性を有する。
• 1層、2層、3層の多層再帰的ネットワークが、このフレームワークを用いて置換不変MNISTタスクで成功裏に学習された。
• 従来の対照的学習アルゴリズムの理論的欠陥（例：CD-1におけるサイクル生成や、対照的ヘブ学習におけるモード崩壊）を回避する。
• リラクゼーションイテレーション数（20～500）、摂動強度（ε=0.5）、学習率（αk）といったハイパーパrameterが調整され、MNISTでの収束が達成された。