[論文レビュー] Training End-to-End Analog Neural Networks with Equilibrium Propagation

Jack D. Kendall, Ross D. Pantone+3 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Memory and Neural Computing参考文献 49被引用数 39

ひとこと要約

tldr: 本論文は、重量がプログラム可能な抵抗器で実装されたエンドツーエンドのアナログニューラルネットワークをEqPropで訓練し、抵抗器電圧降下だけを用いたSGD互換の勾配更新を実証し、100-neuron の隠れ層を持つMNIST結果を示す。

ABSTRACT

We introduce a principled method to train end-to-end analog neural networks by stochastic gradient descent. In these analog neural networks, the weights to be adjusted are implemented by the conductances of programmable resistive devices such as memristors [Chua, 1971], and the nonlinear transfer functions (or `activation functions') are implemented by nonlinear components such as diodes. We show mathematically that a class of analog neural networks (called nonlinear resistive networks) are energy-based models: they possess an energy function as a consequence of Kirchhoff's laws governing electrical circuits. This property enables us to train them using the Equilibrium Propagation framework [Scellier and Bengio, 2017]. Our update rule for each conductance, which is local and relies solely on the voltage drop across the corresponding resistor, is shown to compute the gradient of the loss function. Our numerical simulations, which use the SPICE-based Spectre simulation framework to simulate the dynamics of electrical circuits, demonstrate training on the MNIST classification task, performing comparably or better than equivalent-size software-based neural networks. Our work can guide the development of a new generation of ultra-fast, compact and low-power neural networks supporting on-chip learning.

研究の動機と目的

• アナログ抵抗デバイスを使用して学習がシナプス位置で行われる非 von Neumann ハードウェアパラダイムを動機づける。
• 非線形抵抗性ネットワークがEqPropベースの訓練を可能にするエネルギーベースモデル（EBM）であることを示す。
• 抵抗値の変換で計算可能な局所的な伝導度更新ルールを導出する。
• クロスバ―のシナプスと非線形ニューロン要素を備えた深いアナログネットワークアーキテクチャを提案する。
• SPICEベースのMNIST実験を通じて実現性を示し、ソフトウェアEqPropモデルと比較する。

提案手法

• キルヒホッフの法則に起因するエネルギー関数として非線形抵抗性ネットワークをEBMとしてモデル化する。
• 引数 β -> 0 の極限で、勾配がヌッジド相と自由相の電圧降下の二乗差から推定できる定理1を導出する。
• Equilibrium Propagation（自由相とヌッジド相）を用いて、ローカルな電圧測定だけでSGD互換の伝導度更新を計算する。
• シグモイド型の非線形伝達関数を提供する二極ダイオードを用いてニューロンを実装する。
• シナプスとしてプログラム可能な抵抗と信号を伝搬させる双方向増幅器を備えた深いアナログネットワークアーキテクチャを設計する。
• 出力ノードで損失勾配を電流源としてヌッジド相に符号化する。

実験結果

リサーチクエスチョン

• RQ1 端から端までのアナログニューラルネットワークを、局所的な伝導度情報だけを用いてSGDで訓練できるか。
• RQ2 非線形抵抗性ネットワークはEqPropを可能にするエネルギーベースの定式化を持つか。
• RQ3 このアナログ設定におけるEqPropから導かれる明示的な伝導度更新ルールとは何か。
• RQ4 標準タスクに対して、ソフトウェアEqPropネットワークと比較して深いアナログアーキテクチャはどう機能するか。
• RQ5 オンチップ学習のためのハードウェア実装（メモリ素子、ダイオード、増幅器）の現実的な考慮事項は何か。

主な発見

• 非線形抵抗性ネットワークは、キルヒホッフの法則から生じるエネルギー関数を持つエネルギーベースモデルである。
• 伝導度に対する勾配は、β -> 0 の極限でヌッジド相と自由相の電圧降下の二乗差から推定できる。
• クロスバー抵抗アレイとダイオードベースの非線形性を用いた深いアナログネットワークアーキテクチャは、EqPropでエンドツーエンド訓練可能である。
• 100個の隠れニューロンを用いたMNISTのSPICEベースシミュレーションで、10エポック後のテスト誤差3.43%を達成し、同等のロジスティック回帰ベースを上回る。
• 同等の隠れ層サイズを持つPyTorch EqProp実装と比較して、正の重み制約下でSPICEベースのネットワークは競合するか、またはより良い性能を示す。