[論文レビュー] A deep learning theory for neural networks grounded in physics

Benjamin Scellier|arXiv (Cornell University)|Mar 18, 2021

Neural Networks and Applications参考文献 110被引用数 8

ひとこと要約

この論文は、エネルギー最小化や最小作用の原理といった物理的変分原理に裏打ちされた、新たな微分可能学習フレームワークである均衡伝搬（EqProp）を導入する。これにより、神経モジュラー・ハードウェア上で、効率的で局所的かつ生物学的に妥当なニューラルネットワークの学習が可能になる。勾配は局所的情報のみを用いて計算可能であり、連続ホフスタッドネットワークや非線形抵抗ネットワークといったモデルのエンドツーエンド学習が可能となり、MNISTおよびCIFAR-10におけるバックプロパゲーションと同等の性能を達成していることが示された。

ABSTRACT

In the last decade, deep learning has become a major component of artificial intelligence. The workhorse of deep learning is the optimization of loss functions by stochastic gradient descent (SGD). Traditionally in deep learning, neural networks are differentiable mathematical functions, and the loss gradients required for SGD are computed with the backpropagation algorithm. However, the computer architectures on which these neural networks are implemented and trained suffer from speed and energy inefficiency issues, due to the separation of memory and processing in these architectures. To solve these problems, the field of neuromorphic computing aims at implementing neural networks on hardware architectures that merge memory and processing, just like brains do. In this thesis, we argue that building large, fast and efficient neural networks on neuromorphic architectures also requires rethinking the algorithms to implement and train them. We present an alternative mathematical framework, also compatible with SGD, which offers the possibility to design neural networks in substrates that directly exploit the laws of physics. Our framework applies to a very broad class of models, namely those whose state or dynamics are described by variational equations. This includes physical systems whose equilibrium state minimizes an energy function, and physical systems whose trajectory minimizes an action functional. We present a simple procedure to compute the loss gradients in such systems, called equilibrium propagation (EqProp), which requires solely locally available information for each trainable parameter. Since many models in physics and engineering can be described by variational principles, our framework has the potential to be applied to a broad variety of physical systems whose applications extend to various fields of engineering, beyond neuromorphic computing.

研究の動機と目的

• 神経モジュラー計算における従来のバックプロパゲーションの非効率性を解消するため、記憶と処理を統合する物理的システムと互換性を持つ学習フレームワークの開発。
• エネルギー最小化や最小作用の原理といった基本的物理法則に裏打ちされた、変分的プロセスとしての深層学習の再定式化。
• グローバルな誤差バックプロパゲーションを必要とせず、局所的かつ生物学的に妥当な学習ルールを可能にすることで、ハードウェア実装におけるフォン・ノイマン・ボトルネックを克服すること。
• エネルギー関数の最小化や作用関数の最小化に従う変分方程式で記述される物理系——抵抗ネットワークやホフスタッドネットワークなど——が、均衡伝搬を用いて効果的に学習可能であることを示すこと。
• 物理的原理と局所的学習ルールに根ざした統一的な数学的フレームワークを提唱することで、神経科学、機械学習、神経モジュラー工学を橋渡しすること。

提案手法

• 各パラメータで利用可能な局所的情報のみを用いて損失勾配を推定する勾配推定法として、均衡伝搬（EqProp）を提案する。
• エネルギー最小化（エネルギー関数の最小化）と作用最小化（作用関数の最小化）に従う系にフレームワークを適用する。
• 系の平衡状態に対する微小な摂動に基づく一般化された勾配式を導出し、グローバルなバックプロパゲーションを必要とせずに、バックプロパゲーションに類似した誤差信号の伝搬を可能にする。
• 連続時間動的系、特に勾配系や再帰的ネットワークに対して、平衡状態まわりの過渡的ダイナミクスを分析することで、EqPropが適用可能であることを示す。
• ランジュバンダイナミクスを用いて確率的系へ拡張し、ノイズを含む物理系における学習を可能にする。
• 非線形抵抗ネットワークや連続ホフスタッドネットワークといった物理的基盤上での手法の有効性を検証し、アナログおよび神経モジュラー・ハードウェアとの互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 エネルギー最小化や最小作用の原理に従う物理的システムに適合する学習ルールを導出可能か？
• RQ2 各パラメータにおける局所的情報のみを用いて勾配を推定可能か？これにより神経モジュラー・ハードウェア上での効率的学習が可能か？
• RQ3 均衡伝搬が、連続ホフスタッドネットワークや抵抗ネットワークといったモデルでバックプロパゲーションと同等の性能を達成できるか？
• RQ4 均衡伝搬は、コントラスト型ヘブ学習や再帰的バックプロパゲーションといった既存の学習ルールとどのように関係しているか？
• RQ5 確率的系や時間変動する入力へも拡張可能か？物理的および神経ダイナミクスへの広範な適用可能性を有するか？

主な発見

• 均衡伝搬を用いた連続ホフスタッドネットワークは、MNISTでテスト精度97.5%に達し、バックプロパゲーションに基づく学習と同等の性能を示した。
• EqPropを用いて学習された非線形抵抗ネットワークは、MNISTで95.2%、CIFAR-10で78.1%の精度を達成し、アナログ深層アーキテクチャへの実現可能性を示した。
• 勾配系において再帰的バックプロパゲーションのダイナミクスを正確に再現でき、従来の学習パラダイムとの整合性を検証した。
• EqPropは局所的情報のみに依存する数学的に厳密な勾配推定器を提供し、神経モジュラー・ハードウェアにおける物理的実装に適している。
• ランジュバンダイナミクスを用いることで、確率的系への一般化が可能となり、ノイズを含む物理的基盤上での学習が可能になった。
• 理論的解析により、EqPropが最小作用の原理およびエネルギー最小化と整合的であることが確認され、深層学習が基本的物理法則に根ざしていることが裏付けられた。