[論文レビュー] Backpropagation and Biological Plausibility

Alessandro Betti, Marco Gori+1 more|arXiv (Cornell University)|Aug 21, 2018

Neural Networks and Applications参考文献 2被引用数 3

ひとこと要約

この論文は、重み、活性、乗数のラグランジュ随伴空間における鞍点探索として教師あり学習を定式化することにより、誤差逆伝播とは生物学的に妥当な代替手法を提案する。重みは勾配降下、活性は勾配降下、乗数は勾配上昇により更新することで、誤差逆伝播の非局所的重み輸送問題を回避する完全に局所的な学習ダイナミクスを実現し、ℓ₁正則化によるサポートニューロンの同定によって自動的なアーキテクチャ構築を可能にする。

ABSTRACT

By and large, Backpropagation (BP) is regarded as one of the most important neural computation algorithms at the basis of the progress in machine learning, including the recent advances in deep learning. However, its computational structure has been the source of many debates on its arguable biological plausibility. In this paper, it is shown that when framing supervised learning in the Lagrangian framework, while one can see a natural emergence of Backpropagation, biologically plausible local algorithms can also be devised that are based on the search for saddle points in the learning adjoint space composed of weights, neural outputs, and Lagrangian multipliers. This might open the doors to a truly novel class of learning algorithms where, because of the introduction of the notion of support neurons, the optimization scheme also plays a fundamental role in the construction of the architecture.

研究の動機と目的

• 誤差逆伝播が非局所的重み輸送に依存するため、生物学的に妥当でないとされる長年の批判に対処すること。
• 誤差逆伝播の最適化能力を維持しつつ、すべての更新が局所的で生物学的文脈において計算可能である学習アルゴリズムを開発すること。
• ラグランジュ枠組みがどのように自然にサポートニューロンの出現とスパースなネットワークアーキテクチャを生み出すかを調査すること。
• 重み、活性、ラグランジュ乗数の随伴空間における鞍点探索が、誤差逆伝播と同等の漸近的複雑性を持つ完全に局所的な学習アルゴリズムをもたらすことを示すこと。

提案手法

• ニューラルネットワークのダイナミクスを等式制約として課すラグランジュを用いて、教師あり学習を制約付き最適化問題として定式化する。
• 損失項、隠れニューロン活性のℓ₁正則化項、およびニューラル計算制約を強制するラグランジュ乗数項を含むラグランジュを定義する。
• ラグランジュの停留在条件を導出し、重みと活性の勾配降下、乗数の勾配上昇による更新式を得る。
• 各ニューロンが自身の入力と出力に関して局所的に勾配を計算する共同更新ルールを実装し、グローバルな誤差逆伝播を回避する。
• 隠れニューロン活性にℓ₁正則化を導入し、λᵢᵏ ≠ 0 であるサポートニューロンと λᵢᵏ = 0 であるストロウニューロンを区別することで、自動的なプルーニングを可能にする。
• アルゴリズムが Θ(|𝒜|·ℓ) 時間で動作することを示し、標準的な誤差逆伝播と同等の漸近的複雑性を維持している。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ形式主義に基づく学習アルゴリズムは、完全に局所的である一方で、誤差逆伝播と同等の最適化性能を達成できるか？
• RQ2 サポートニューロンの概念は、ラグランジュ鞍点フレームワークからどのように自然に出現するのか？また、ネットワークアーキテクチャ構築において果たす役割は何か？
• RQ3 提案手法は非局所的重み輸送の必要性を排除するのか？これにより、誤差逆伝播の生物学的妥当性に対する主要な反論が解消されるか？
• RQ4 アルゴリズムはオンライン学習およびミニバッチ学習に拡張可能か？その際、局所的更新構造を維持できるか？
• RQ5 隠れ活性にℓ₁正則化を適用することで、サポートニューロンの同定を通じてどのようにスパースかつプルーニングされたアーキテクチャが出現するのか？

主な発見

• 重みは勾配降下、活性は勾配降下、ラグランジュ乗数は勾配上昇により更新することで、非局所的重み輸送の必要性を完全に排除する完全に局所的な学習ダイナミクスを実現する。
• ラグランジュの停留在条件は、αₖⱼ = 0 の場合に古典的な誤差逆伝播の因子分解を回復し、正則化なしの状況で標準的な誤差逆伝播と整合性を示す。
• ℓ₁正則化により、λₖᵢ ≠ 0 であるサポートニューロンと λₖᵢ = 0 であるストロウニューロンが自然に同定され、自動的なネットワークプルーニングとアーキテクチャ構築が可能になる。
• アルゴリズムは標準的な誤差逆伝播と同等の漸近的時間複雑度 Θ(|𝒜|·ℓ) を維持しており、計算効率が保証される。
• データに起因する制約をラグランジュ枠組みに組み込むことで、再帰的ネットワークや構造的データ（例：グラフ）に対しても拡張可能である。
• アルゴリズムの局所的性質は、生物学的妥当性を示唆するが、特にバッチモードまたは固有の時間的構造を持つタスクでは顕著であり、オンラインへの拡張には中間変数の予測が必要となる。