[論文レビュー] Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning

Adam A. Kohan, Edward A. Rietman+1 more|arXiv (Cornell University)|Aug 9, 2018

Advanced Memory and Neural Computing参考文献 1被引用数 11

ひとこと要約

本稿では、出力活性を入力層にフィードバックすることで、前向接続を再利用して誤差信号を深層ネットワークの逆方向に伝播させる、生物学的に現実的な手法「エラー前向き伝播（Error Forward-Propagation）」を提案する。単一のバックワードループのみを用いることで、MNISTとFashion-MNISTでそれぞれ1.90%および11%のテスト誤差を達成し、対称的またはランダムなフィードバック重みの必要性を排除し、誤差フィードバックのアーキテクチャ的制約を低減する。

ABSTRACT

We introduce Error Forward-Propagation, a biologically plausible mechanism to propagate error feedback forward through the network. Architectural constraints on connectivity are virtually eliminated for error feedback in the brain; systematic backward connectivity is not used or needed to deliver error feedback. Feedback as a means of assigning credit to neurons earlier in the forward pathway for their contribution to the final output is thought to be used in learning in the brain. How the brain solves the credit assignment problem is unclear. In machine learning, error backpropagation is a highly successful mechanism for credit assignment in deep multilayered networks. Backpropagation requires symmetric reciprocal connectivity for every neuron. From a biological perspective, there is no evidence of such an architectural constraint, which makes backpropagation implausible for learning in the brain. This architectural constraint is reduced with the use of random feedback weights. Models using random feedback weights require backward connectivity patterns for every neuron, but avoid symmetric weights and reciprocal connections. In this paper, we practically remove this architectural constraint, requiring only a backward loop connection for effective error feedback. We propose reusing the forward connections to deliver the error feedback by feeding the outputs into the input receiving layer. This mechanism, Error Forward-Propagation, is a plausible basis for how error feedback occurs deep in the brain independent of and yet in support of the functionality underlying intricate network architectures. We show experimentally that recurrent neural networks with two and three hidden layers can be trained using Error Forward-Propagation on the MNIST and Fashion MNIST datasets, achieving $1.90\%$ and $11\%$ generalization errors respectively.

研究の動機と目的

• 標準的な逆誤差伝播が、ネオコルチコスに観察されない対称的・双方向的・体系的なフィードバック接続を要するという生物学的非現実性を是正すること。
• 専用のフィードバック経路の必要性を排除することで、深層ネットワークにおける誤差フィードバックのアーキテクチャ的制約を低減すること。
• 既存の前向き接続を再利用して効果的な誤差信号を提供するメカニズム「エラー前向き伝播」を提案すること。
• この手法が、最小限のフィードバック接続で深層ネットワークの有効な学習を可能にし、生物学的ニューロンネットワークにおける信用配分の妥当性を支持すること。

提案手法

• 出力層の活性を入力層のニューロンにフィードバックすることで、前向き重み行列をフィードバックパスとして再利用する。
• 出力層から入力層への単一のバックワードループ接続を採用し、各ニューロンごとのフィードバック接続の必要性を回避する。
• フィードバックループ内での重み行列の動的整合性に依存し、前向き重みの積がフィードバック信号を近似する。
• ターゲット出力と実際の出力の差分から得られるフィードバック信号を、前向伝播で使用された同じ重みを介して前方に伝播させる。
• 入力受信層の活動と誤差信号に基づいて重みを調整する局所的学習ルールを適用する。
• ネットワークの重み行列が時間経過とともに互いに整合し合うようになることを実証し、明示的なフィードバック重みがなくてもフィードバック整合効果を再現する。

実験結果

リサーチクエスチョン

• RQ1 専用のフィードバック接続や対称的重みがなくても、誤差信号を深層ネットワークの逆方向に効果的に伝播させることは可能か？
• RQ2 前向き重みを再利用して機能的な誤差フィードバックを提供し、有効な学習を可能にするのは可能か？
• RQ3 体系的な逆方向接続の欠如が、深層ネットワークにおける学習性能と収束性に与える影響は何か？
• RQ4 単一のバックワードループ接続で、複数の隠れ層にわたる信用配分を可能にすることができるか？
• RQ5 前向き接続を誤差フィードバックに再利用することは、逆誤差伝播やランダムフィードバック整合と同等の結果をもたらすか？

主な発見

• エラー前向き伝播は、2層の隠れ層を備えたネットワークを用いてMNISTデータセットで1.90%の一般化誤差を達成した。
• 本手法はFashion-MNISTデータセットでも11%の一般化誤差を達成し、異なるタスクへの頑健性を示した。
• 単一のバックワードループ接続でのみ、効果的な誤差フィードバックが可能となり、アーキテクチャ的制約が顕著に低減された。
• ネットワーク内の重み行列が時間経過とともに互いに動的整合し合い、明示的なフィードバック重みがなくても効果的なフィードバック信号が生成された。
• 対称的または双方向的接続の必要性を排除したにもかかわらず、バックプロパゲーションやランダムフィードバック整合と同等の性能を維持した。
• 局所的で時間依存の学習が可能であり、均衡プロパゲーションや対照的ヘブ学習といった生物学的に現実的なメカニズムとも併用可能である。