[論文レビュー] Learning to solve the credit assignment problem

Benjamin Lansdell, Prashanth Ravi Prakash+1 more|arXiv (Cornell University)|Jun 3, 2019

Scheduling and Optimization Algorithms参考文献 56被引用数 18

ひとこと要約

この論文は、バックプロパゲーション勾配を近似するために強化学習を用いてフィードバック重みを学習する生物学的に妥当な学習アルゴリズムを提案する。摂動とグローバルな報酬信号を用いることで、前向き伝搬および畳み込みネットワークにおいて正確な勾配近似を学習し、対称なフィードバックや正確な学習ルールを必要とせずに、バックプロパゲーションと同等またはそれ以上の性能を達成する。

ABSTRACT

Backpropagation is driving today's artificial neural networks (ANNs). However, despite extensive research, it remains unclear if the brain implements this algorithm. Among neuroscientists, reinforcement learning (RL) algorithms are often seen as a realistic alternative: neurons can randomly introduce change, and use unspecific feedback signals to observe their effect on the cost and thus approximate their gradient. However, the convergence rate of such learning scales poorly with the number of involved neurons. Here we propose a hybrid learning approach. Each neuron uses an RL-type strategy to learn how to approximate the gradients that backpropagation would provide. We provide proof that our approach converges to the true gradient for certain classes of networks. In both feedforward and convolutional networks, we empirically show that our approach learns to approximate the gradient, and can match or the performance of exact gradient-based learning. Learning feedback weights provides a biologically plausible mechanism of achieving good performance, without the need for precise, pre-specified learning rules.

研究の動機と目的

• 生物学的ニューラルネットワークにおける報酬割り当て問題に対処すること、すなわち、ニューロンがグローバルな結果に与える寄与度を特定する必要があること。
• 大規模ネットワークにおける強化学習の限界を克服すること、特に高い分散と遅い収束性の問題を解消すること。
• フィードバック重みを強化学習で学習させ、真の勾配を近似するハイブリッド学習システムを構築することにより、効率的かつスケーラブルな学習を可能にすること。
• 対称なフィードバック重みや事前に指定された学習ルールを必要としない、バックプロパゲーションの生物学的に妥当な代替手法を提供すること。

提案手法

• 各ニューロンは、REINFORCE風の強化学習戦略を用いて、バックプロパゲーションが提供する勾配を近似するフィードバック重みを学習する。
• フィードバック重みは、グローバルな報酬信号と隠れ層活性化の確率的摂動を用いて、勾配の方向を推定することで更新される。
• 推定勾配と真の勾配の誤差を最小化するフィードバック重みを求めるために、オンラインリッジ回帰が用いられる。
• フィードバック重み行列 $ B $ は、摂動を加えたフィードバック信号を用いて、隠れ層活性化に関する損失の勾配を予測するように学習される。
• この手法は、全結合層および畳み込みニューラルネットワークに適用され、確率的勾配降下法および適応的最適化手法を用いて訓練される。
• ウォームアップ段階では、前向き伝搬重みを凍結させながらフィードバック重みの適応を許可することで、訓練の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく手法が、生物学的に妥当な方法でフィードバック重みを真の勾配を近似するように学習できるか？
• RQ2 この手法が、前向き伝搬および畳み込みネットワークにおいて正確なバックプロパゲーションと同等の性能を達成できるか？
• RQ3 この手法は、フィードバックアライメントや合成勾配と比較して、ネットワークの深さおよび幅の増加に伴いどのようにスケーリングするか？
• RQ4 この手法は、畳み込みネットワークおよび深層アーキテクチャにおいて、フィードバックアライメントの限界を克服できるか？
• RQ5 摂動ノイズおよびフィードバック重みの適応が、学習の安定性および収束性に与える影響は何か？

主な発見

• 特定のネットワーククラスにおいて、この手法は真の勾配に収束し、ある条件下で一貫性の理論的証明がなされている。
• 前向き伝搬ネットワークでは、この手法は正確なバックプロパゲーションと同等またはそれ以上の性能を示し、フィードバックアライメントや合成勾配を上回る。
• この手法は、フィードバックアライメントが失敗する畳み込みニューラルネットワーク（CIFAR10およびCIFAR100）においても正常に学習し、競争力のある正確性を達成した。
• フィードバック重みは、行列が著しく異なる場合でも、真の勾配と顕著な符号一致を示す勾配近似を学習した。
• ハイパーパramータの変動に対して頑健であり、一般化を向上させる最適なノイズレベルはランダムサーチによって同定された。
• アブレーションスタディの結果、性能向上はノイズそのものによるものではなく、強化学習に基づくフィードバック重みの訓練によるものであり、真の勾配を用いたマッチングルールや合成勾配を含むベースラインを上回ることが確認された。