[論文レビュー] Direct Feedback Alignment Provides Learning in Deep Neural Networks

Arild Nøkland|arXiv (Cornell University)|Sep 6, 2016

Neural Networks and Applications参考文献 11被引用数 179

ひとこと要約

本論文は Direct Feedback Alignment (DFA) を紹介する。生物学的に妥当な学習法で、固定したランダムなフィードバック重みが出力から隠れ層へ誤差を直接伝播し、バックプロパゲーションなしで深層ネットワークを学習可能にし、MNISTおよびCIFARデータセットで BP に対して競争力のある性能を達成する。

ABSTRACT

Artificial neural networks are most commonly trained with the back-propagation algorithm, where the gradient for learning is provided by back-propagating the error, layer by layer, from the output layer to the hidden layers. A recently discovered method called feedback-alignment shows that the weights used for propagating the error backward don't have to be symmetric with the weights used for propagation the activation forward. In fact, random feedback weights work evenly well, because the network learns how to make the feedback useful. In this work, the feedback alignment principle is used for training hidden layers more independently from the rest of the network, and from a zero initial condition. The error is propagated through fixed random feedback connections directly from the output layer to each hidden layer. This simple method is able to achieve zero training error even in convolutional networks and very deep networks, completely without error back-propagation. The method is a step towards biologically plausible machine learning because the error signal is almost local, and no symmetric or reciprocal weights are required. Experiments show that the test performance on MNIST and CIFAR is almost as good as those obtained with back-propagation for fully connected networks. If combined with dropout, the method achieves 1.45% error on the permutation invariant MNIST task.

研究の動機と目的

• 対称的なまたは互恵的な重みを必要とせず、バックプロパゲーションの生物学的に妥当な代替を動機づける。
• 固定されたランダムなフィードバックが、直接的または間接的なフィードバック経路を介して深層ネットワークの学習を可能にすることを示す。
• DFA が非常に深いネットワークおよび畳み込みネットワークを訓練できること、そして標準ベンチマークでバックプロパゲーションに近い性能を達成することを示す。

提案手法

• 固定されたランダムなフィードバック行列 B_i を用いた DFA、FA、および IFA の更新則を定義し、出力での勾配 e を用いて更新方向を導出する。
• 更新方向を示す：DFA: delta h_i = (B_i e) ⊙ f'(a_i); FA: delta h_i = (B_i δ_{i+1}) ⊙ f'(a_i); IFA: delta h_i = (W_i δ_{i-1}) ⊙ f'(a_i)。
• フィードバック経路と前方経路の整合が降下方向に結びつく理論的機構（定理1）を提供し、非対称なフィードバックでの学習条件を論じる。

実験結果

リサーチクエスチョン

• RQ1 対称な重みを必要とせず、固定されたランダムなフィードバック経路が隠れ層に有用な誤差信号を提供できるか。
• RQ2 Direct Feedback Alignment は、深層・畳み込みネットワークの訓練において、Back-Propagation および Feedback Alignment とどのように比較されるか。
• RQ3 標準ベンチマークで DFA の性能に影響を与える正則化や初期化戦略は何か。
• RQ4 DFA は BP や FA で実現可能な深さを超えるネットワークを訓練できるか、観察された限界は何か。

主な発見

• DFA は深いネットワークを訓練し、さまざまなアーキテクチャの下で MNIST および CIFAR-10/100 において訓練誤差をゼロに達成することができる。
• MNIST では、全結合ネットワークに対して BP および FA に近いテスト性能を DFA が達成する；ドロップアウトを用いると、DFA は置換不変 MNIST で 1.45% の誤差を達成する。
• DFA は非常に深いネットワーク（例: 100 層の隠れ層）を訓練できる。BP が同じ初期設定で苦労する場合がある；CNN においては、BP がしばしば DFA を上回るが、DFA は複数の構成で依然として競争力がある。
• t-SNE の可視化は、DFA が BP と同様にクラスを分離する隠れ表示を学習することを示しており、隠れ層で有用な特徴学習を示唆する。
• 前方パスとフィードバックパスの切断は、DFA/IFA 下での学習を除外するものではなく、柔軟性と生物学的妥当性の可能性を強調する。