[論文レビュー] Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks

Hongyin Luo, Jie Fu+1 more|arXiv (Cornell University)|Feb 23, 2017

Advanced Memory and Neural Computing参考文献 13被引用数 6

ひとこと要約

本稿では、前向き活性化を近似するために両方の前向きおよびフィードバック重みを学習する、生物学的に妥当なトレーニングフレームワーク「適応的双方向バックプロパゲーション（BBA）」を提案する。固定またはランダムなフィードバック重みに依存する従来の方法を超えて、深層ネットワークにおける誤差信号伝達を改善する。MNISTおよびCIFAR-10において、FAおよびDFAを上回る性能を示しており、適応的フィードバック重みが誤差信号伝達を向上させることを実証している。

ABSTRACT

The back-propagation (BP) algorithm has been considered the de-facto method for training deep neural networks. It back-propagates errors from the output layer to the hidden layers in an exact manner using the transpose of the feedforward weights. However, it has been argued that this is not biologically plausible because back-propagating error signals with the exact incoming weights are not considered possible in biological neural systems. In this work, we propose a biologically plausible paradigm of neural architecture based on related literature in neuroscience and asymmetric BP-like methods. Specifically, we propose two bidirectional learning algorithms with trainable feedforward and feedback weights. The feedforward weights are used to relay activations from the inputs to target outputs. The feedback weights pass the error signals from the output layer to the hidden layers. Different from other asymmetric BP-like methods, the feedback weights are also plastic in our framework and are trained to approximate the forward activations. Preliminary results show that our models outperform other asymmetric BP-like methods on the MNIST and the CIFAR-10 datasets.

研究の動機と目的

• 標準的なバックプロパゲーションの代替手法として、対称的重み制約を回避する生物学的に妥当な手法の開発。
• 学習可能なフィードバック重みが深層ニューラルネットワークにおける誤差信号伝達を改善できるかどうかの調査。
• FA や DFA などの非対称BPに類似した手法における固定またはランダムなフィードバック重みの制限の解消。
• 前向きおよび後向きの両方の経路が可塑的である双方向学習の模倣を通じて、脳における神経可塑性を再現すること。
• 適応的フィードバック重みが、ランダムまたは固定のフィードバック行列よりも優れた性能をもたらすことを実証すること。

提案手法

• 二つのモデルを提案：双方向フィードバックアライメント（BFA）および双方向直接フィードバックアライメント（BDFA）、両者とも学習可能な前向きおよびフィードバック重みを有する。
• フィードバック重みは、前向き活性化関数を近似するように学習され、誤差信号が学習済みの非ランダムな行列を通じて伝達可能になる。
• 二段階のトレーニングプロセスを採用：前向きパスによる活性化伝播と、適応的フィードバック重みを用いた誤差信号伝達の後向きパス。
• CIFAR-10におけるBDFAでは、出力ラベルとネットワーク出力を組み合わせた修正された損失関数を採用し、後向き学習の安定性を向上。
• 出力特徴量から入力特徴量を再構築する後向き生成手順を導入し、学習されたフィードバックマッピングの妥当性を検証。
• BFAでは、出力特徴量から入力特徴量へのマッピングをMLPを用いて行い、前向きプロセスの逆転能力をテスト。

実験結果

リサーチクエスチョン

• RQ1 固定またはランダムなフィードバック行列と比較して、学習可能なフィードバック重みが深層ネットワークにおける誤差信号伝達を改善できるか？
• RQ2 前向き活性化を近似するように学習する可塑的フィードバック重みは生物学的に妥当か？
• RQ3 適応的フィードバック重みを用いた双方向トレーニングは、FA や DFA などの非対称BP手法と比較して、より優れた一般化性能を示すか？
• RQ4 CIFAR-10のような複雑なデータセットにおいて、適応的フィードバック重みは固定フィードバックと比較してどのように性能を発揮するか？
• RQ5 フィードバック重みは前向きマッピングを逆転させることができ、出力表現から入力特徴量を再構築できるか？

主な発見

• BFAはMNISTにおいてFAおよびDFAを上回り、1×400アーキテクチャでテスト誤差率48.34％を達成。それぞれFAは48.38％、DFAは48.48％であった。
• CIFAR-10において、BDFAは非対称手法の中で最高の性能を示し、2×800アーキテクチャでテスト誤差率48.46％を達成。
• BFAモデルは、ワンホット出力特徴量から入力画像を成功裏に再構築でき、フィードバック重みが出力から入力表現へのマッピングを学習していることを示した。
• BDFAは、出力特徴量にネットワークの現在の出力をわずかに組み込むことで、CIFAR-10における後向き学習の安定性が向上した。
• 本研究では、適応的フィードバック重みが固定またはランダムなフィードバック行列よりも優れていることが示され、深層ネットワーク（DNN）においてこの利点の初の実証的評価がなされた。
• 著者らは、生の入力をマッピングする際、非抽象的で高次元の特徴量のため、BFAのトレーニング安定性が低下することを観察した。これは、隠れ層での抽象的表現の学習がより容易である可能性を示唆している。