[論文レビュー] GAIT-prop: A biologically plausible learning rule derived from backpropagation of error

Nasir Ahmad, Marcel van Gerven+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Memory and Neural Computing参考文献 27被引用数 11

ひとこと要約

この論文では、バックプロパゲーションに由来する生物学的に妥当な学習ルールであるGAIT-propを提案する。GAIT-propは、線形および非線形ネットワークの両方で標準的なバックプロパゲーションと区別できない性能を達成するために、段階的なターゲットを用いる。前向き伝搬の活性化に小さな摂動を加えることで、直交行列を用いた重み行列下でバックプロパゲーションと正確に等価になるように保証し、非局所的情報伝達を必要としない安定で局所的かつ勾配ベースの学習を可能にする。

ABSTRACT

Traditional backpropagation of error, though a highly successful algorithm for learning in artificial neural network models, includes features which are biologically implausible for learning in real neural circuits. An alternative called target propagation proposes to solve this implausibility by using a top-down model of neural activity to convert an error at the output of a neural network into layer-wise and plausible 'targets' for every unit. These targets can then be used to produce weight updates for network training. However, thus far, target propagation has been heuristically proposed without demonstrable equivalence to backpropagation. Here, we derive an exact correspondence between backpropagation and a modified form of target propagation (GAIT-prop) where the target is a small perturbation of the forward pass. Specifically, backpropagation and GAIT-prop give identical updates when synaptic weight matrices are orthogonal. In a series of simple computer vision experiments, we show near-identical performance between backpropagation and GAIT-prop with a soft orthogonality-inducing regularizer.

研究の動機と目的

• バックプロパゲーションの生物学的非妥当性（非局所的誤差信号と正確な重み伝達に依存）を是正すること。
• 局所的かつ層単位の誤差信号のみを用いて、バックプロパゲーションと同等の学習ルールを構築すること。
• 段階的ターゲットの導入により、ターゲット伝搬をバックプロパゲーションと等価にできることを示すこと。
• GAIT-propが、さまざまな層幅を有する線形および非線形ネットワークにおいて、バックプロパゲーションとほぼ同一の性能を達成できることを示すこと。

提案手法

• 可逆な深層線形ネットワークを用いて、バックプロパゲーションとターゲット伝搬の理論的関係を導出する。
• 誤差計算の線形化を図るため、前向き伝搬の活性化の小さな摂動として段階的ターゲット（γl）を導入する。
• シナプス重み行列が直交している場合、GAIT-propがバックプロパゲーションと同一の重み更新を生成することを示す。
• 非線形ネットワークにおける近似的な直交性を維持するため、ソフト直交性誘導正則化項を導入する。
• 層単位のターゲットを実装し、可変な隠れ層幅を持つネットワークにおける安定な学習を可能にするために補助ニューロンを用いる。
• 固定および縮小された隠れ層幅を有するMNISTおよびCIFAR-10データセットを用いて、コンピュータビジョンタスクにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 特定の条件下で、深層線形ネットワークにおいてターゲット伝搬をバックプロパゲーションと等価にできるか？
• RQ2 段階的ターゲットの導入により、非線形ネットワークにおいてもターゲット伝搬とバックプロパゲーションの等価性が回復するか？
• RQ3 さまざまなネットワークアーキテクチャおよびデータセットにおいて、GAIT-propの性能はバックプロパゲーションおよび標準的なターゲット伝搬と比べてどの程度か？
• RQ4 完全な逆モデルや理想化されたネットワーク構造を必要とせずに、GAIT-propは高い性能を維持できるか？
• RQ5 重み行列の直交性は、GAIT-propとバックプロパゲーションの等価性を実現するために果たす役割は何か？

主な発見

• GAIT-propは、MNISTおよびCIFAR-10データセットを含め、線形および非線形ネットワークの両方でバックプロパゲーションと区別できない性能を達成する。
• 深層線形ネットワークにおいて、重み行列が直交している場合、GAIT-propはバックプロパゲーションと同一の重み更新を生成する。
• 標準的なターゲット伝搬は線形ネットワークでは高い性能を示すが、特に可変な隠れ層幅を有する非線形設定では一般化がうまくいかない。
• ソフト直交性誘導正則化項の使用により、多様な学習パラメータおよびネットワークアーキテクチャにおいて、GAIT-propは安定かつ高い性能を発揮する。
• ネットワークの深さや幅が変化しても性能が安定しており、本手法のスケーラビリティおよびアーキテクチャ変更に対する耐性が示された。
• 層単位の補助ニューロンの導入により、非可逆的かつ幅が縮小された層に起因する情報損失があるネットワークでも、効果的な学習が可能になった。