[論文レビュー] Random feedback weights support learning in deep neural networks

Timothy Lillicrap, Daniel Cownden+2 more|arXiv (Cornell University)|Nov 2, 2014

Advanced Memory and Neural Computing参考文献 20被引用数 88

ひとこと要約

この論文は、誤差逆伝播法における重み結合された誤差逆伝播の代わりに、固定されたランダムなフィードバック重みを用いる、生物学的に現実的な深層学習アルゴリズム「フィードバックアライメント」を提案する。重みの転送を必要とせず、転置されたシナプス重みの代わりにランダム行列を用いても、さまざまなタスクで標準的な誤差逆伝播法と同等の性能を達成しており、ランダムなフィードバック重みでも深層ネットワークにおける有効な責任割り当てが可能であることを示している。

ABSTRACT

The brain processes information through many layers of neurons. This deep architecture is representationally powerful, but it complicates learning by making it hard to identify the responsible neurons when a mistake is made. In machine learning, the backpropagation algorithm assigns blame to a neuron by computing exactly how it contributed to an error. To do this, it multiplies error signals by matrices consisting of all the synaptic weights on the neuron's axon and farther downstream. This operation requires a precisely choreographed transport of synaptic weight information, which is thought to be impossible in the brain. Here we present a surprisingly simple algorithm for deep learning, which assigns blame by multiplying error signals by random synaptic weights. We show that a network can learn to extract useful information from signals sent through these random feedback connections. In essence, the network learns to learn. We demonstrate that this new mechanism performs as quickly and accurately as backpropagation on a variety of problems and describe the principles which underlie its function. Our demonstration provides a plausible basis for how a neuron can be adapted using error signals generated at distal locations in the brain, and thus dispels long-held assumptions about the algorithmic constraints on learning in neural circuits.

研究の動機と目的

• 誤差逆伝播法における重み転送の生物学的非現実性、すなわちニューロンが層間で正確なシナプス重み情報を共有する必要があるという点を解決すること。
• フィードバックパスで前方重みの知識が不要な学習アルゴリズムを構築し、深層ネットワークが効率的に学習できるようにすること。
• ランダムなフィードバック重みでも、深層ネットワークにおける責任割り当てに有効な誤差信号を提供できることを示すこと。
• 脳における上流のシナプスが下流の誤差信号に基づいてどのように更新されるかを説明するメカニズムを提供し、神経科学における長年の謎を解消すること。

提案手法

• 誤差逆伝播法における前方重みの転置 $W^T$ を、フィードバックパスで固定されたランダム行列 $B$ に置き換える。これにより、隠れユニットの更新は $\Delta \mathbf{h}_{\text{FA}} = B\mathbf{e}$ として計算される。
• フィードバックアライメントの更新方向と真の誤差逆伝播の更新方向との間の角度が常に90度未満であるという条件を満たすことで、学習信号が有用な方向を向いていることを保証する。
• 固定されたランダムなフィードバック重みを用いても、ランダム行列 $B$ が真の勾配方向と非ゼロの内積を持つ限り、ネットワークが内部表現を誤差を最小化する方向に整列させることを示す。
• フィードバックアライメントにおける隠れユニットの更新が、擬似誤差逆伝播法の更新の正のスカラー倍であることを証明することで、学習方向が一貫していることを保証する。
• 線形および非線形タスクにおいてアルゴリズムを実装・テストし、誤差逆伝播法、強化学習、浅い学習手法と性能を比較する。
• 理論的解析により、簡略化されたダイナミクス下での収束を証明し、学習信号が時間経過とともに真の勾配方向と整合したまま保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 前方重みの転置ではなく、固定されたランダムなフィードバック重みを用いて誤差信号を伝播させる場合、深層ニューラルネットワークは効果的に学習できるか？
• RQ2 そのようなネットワークの性能は、速度と正確性の面で標準的な誤差逆伝播法と同等か？
• RQ3 ランダムなフィードバック重みを用いても、深層ネットワークにおける有効な責任割り当てが可能か？
• RQ4 フィードバック重みが前方重みと関係がなくても、ネットワークは内部表現を整列させることができるか？
• RQ5 ランダムなフィードバック重みが依然として有用な学習信号を生成できる理論的条件は何か？

主な発見

• 固定されたランダムなフィードバック重みを用いたフィードバックアライメントは、線形および非線形タスクにおいて、正規化平方誤差（NSE）を指標として、標準的な誤差逆伝播法と同等の性能を達成する。
• フィードバックアライメントと誤差逆伝播法の更新方向の間の角度は、常に90度未満であり、学習信号が真の勾配方向と整合していることを示している。
• ランダムなフィードバック行列 $B$ の選択に強く依存せず、平均的に $\mathbf{e}^T W B \mathbf{e} > 0$ が成り立つ限り、フィードバック信号が有用な方向にあることが保証される。
• 理論的解析により、フィードバックアライメントにおける隠れユニットの更新は、常に擬似誤差逆伝播法の更新の正のスカラー倍であることが示され、学習方向の一貫性が保証される。
• 簡略化されたダイナミクス下でアルゴリズムは収束し、重み転送がなくても学習が可能であることを証明している。$W$ と $A$ がゼロで初期化されていても成立する。
• 強化学習や浅い学習メカニズムに比べ、学習速度とスケーラビリティの面で優れており、同時に深層ネットワークの表現力も維持している。