[論文レビュー] Generalization of Equilibrium Propagation to Vector Field Dynamics

Benjamin Scellier, Anirudh Goyal+3 more|arXiv (Cornell University)|Aug 14, 2018

Neural dynamics and brain function参考文献 15被引用数 19

ひとこと要約

この論文は、エネルギー関数や対称的重みを必要とせず、固定点をもつ再帰的ネットワークにおけるベクトル場ダイナミクスに均衡伝搬を一般化する。これにより、局所的で勾配に基づく学習によって生物学的に妥当な誤差逆伝搬が可能になる。この手法は、重みの対称性に依存した精度で真の勾配を近似し、MNISTにおける実験では2–3%のテスト誤差を達成した。

ABSTRACT

The biological plausibility of the backpropagation algorithm has long been doubted by neuroscientists. Two major reasons are that neurons would need to send two different types of signal in the forward and backward phases, and that pairs of neurons would need to communicate through symmetric bidirectional connections. We present a simple two-phase learning procedure for fixed point recurrent networks that addresses both these issues. In our model, neurons perform leaky integration and synaptic weights are updated through a local mechanism. Our learning method generalizes Equilibrium Propagation to vector field dynamics, relaxing the requirement of an energy function. As a consequence of this generalization, the algorithm does not compute the true gradient of the objective function, but rather approximates it at a precision which is proven to be directly related to the degree of symmetry of the feedforward and feedback weights. We show experimentally that our algorithm optimizes the objective function.

研究の動機と目的

• 誤差逆伝搬の生物学的不実現性、特に分離された前向き・後向き信号経路と対称的シナプス接続の必要性に対処する。
• 推論（重みの更新なし）と誤差信号伝搬（局所的で対称的重みに依存しない更新あり）の2段階で動作する学習ルールを開発する。
• エネルギーに基づくモデルを超えて、任意のベクトル場ダイナミクスに均衡伝搬を一般化し、勾配ダイナミクスや対称的重みの要件を緩和する。
• 提案手法がMNISTにおける実験的評価を通じて、目的関数を最適化できることを示す。
• 理論的および実験的に、重みの対称性と学習ルールにおける勾配近似精度の関係を調査する。

提案手法

• ニューロンのダイナミクスを連続時間のレートベースの漏れ積分器方程式でモデル化：$ \frac{ds_i}{dt} = \sum_j W_{ij} \rho(s_j) - s_i $、ここで$ \rho $は非線形活性化関数である。
• 2段階の学習手順を実装する：第1段階では、ネットワークが入力下での固定点状態を計算する。第2段階では、ターゲットが導入され、状態のずれに基づいて重みが更新される。
• 局所的でヘブ型の可塑性ルールを用いる：$ dW_{ij} \propto \rho(s_j) \cdot ds_i $、ここで$ ds_i $は第2段階における前ニューロン活動の変化である。
• 摂動パrameter $ \beta $ を導入することで、学習ルールをベクトル場ダイナミクスに一般化し、小さな摂動に対する状態の応答を通じて損失の勾配を追跡可能にする。
• 更新ルールを $ \Delta W_{ij} \propto \left. \frac{\partial^2 S^\beta}{\partial t \partial \beta} \right|_{\beta=0}^T \cdot \frac{\partial \mu_\theta}{\partial W_{ij}} $ として導出する。これは真の勾配を近似する。
• 数値的安定性を保つために、クリッピングを施した安定化されたオイラー法でダイナミクスを実装する：$ s \leftarrow \text{clip}(s - \epsilon \mu_\theta^\beta, 0, 1) $。

実験結果

リサーチクエスチョン

• RQ1 エネルギー関数を必要とせず、ベクトル場ダイナミクスに均衡伝搬を一般化できるか？
• RQ2 局所的で非対称的重みに基づく学習ルールは、損失関数の真の勾配を近似できるか？その精度は重みの対称性にどのように依存するか？
• RQ3 この手法は、誤差逆伝搬や対称的接続を必要とせず、MNISTのような教師あり学習タスクで固定点をもつ再帰的ネットワークを効果的に訓練できるか？
• RQ4 重みの対称性の程度と勾配近似誤差の関係は何か？
• RQ5 標準ベンチマークにおいて、この手法の訓練誤差および汎化誤差の実効的性能はどの程度か？

主な発見

• 提案手法はMNISTにおいて目的関数を効果的に最適化し、2層および3層の全結合ネットワークにおいて、両方で訓練誤差が0.00%に達した。
• MNISTにおける汎化誤差は、ネットワークの深さに応じて2%から3%の範囲に収まり、誤差逆伝搬を用いずとも有効な学習が可能であることを示した。
• 理論的に予測されたように、フィードフォワードおよびフィードバック重みの対称性に比例して、勾配近似の精度が向上した。
• このアルゴリズムは、エネルギーに基づくモデルを超えて均衡伝搬を一般化し、勾配ダイナミクスや対称的接続を必要としない任意のベクトル場ダイナミクスにおける学習を可能にした。
• 畳み込みニューラルネットワークの変種を用いた実験では、約2%の汎化誤差を達成し、より深いアーキテクチャへのスケーラビリティを確認した。
• 学習ルールは、摂動ありと摂動なしの状態の差分に基づき、第2段階の終了時に1回の重み更新で実装されており、連続的な重み更新を回避した。