[論文レビュー] Learning in the Machine: Random Backpropagation and the Deep Learning Channel

Pierre Baldi, Peter Sadowski+1 more|arXiv (Cornell University)|Dec 8, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 9

ひとこと要約

この論文は、誤差信号の逆伝播に重み転置行列の代わりに固定されたランダム行列を用いることで、生物学的に現実的な標準バックプロパゲーションの代替手法であるランダムバックプロパゲーション（RBP）を導入する。この簡略化にもかかわらず、RBPはMNISTおよびCIFAR-10で標準バックプロパゲーションに近い性能を達成しており、特に活性化関数の微分を含む条件下で、線形および非線形ネットワークにおいて固定点への収束を証明している。

ABSTRACT

Random backpropagation (RBP) is a variant of the backpropagation algorithm for training neural networks, where the transpose of the forward matrices are replaced by fixed random matrices in the calculation of the weight updates. It is remarkable both because of its effectiveness, in spite of using random matrices to communicate error information, and because it completely removes the taxing requirement of maintaining symmetric weights in a physical neural system. To better understand random backpropagation, we first connect it to the notions of local learning and learning channels. Through this connection, we derive several alternatives to RBP, including skipped RBP (SRPB), adaptive RBP (ARBP), sparse RBP, and their combinations (e.g. ASRBP) and analyze their computational complexity. We then study their behavior through simulations using the MNIST and CIFAR-10 bechnmark datasets. These simulations show that most of these variants work robustly, almost as well as backpropagation, and that multiplication by the derivatives of the activation functions is important. As a follow-up, we study also the low-end of the number of bits required to communicate error information over the learning channel. We then provide partial intuitive explanations for some of the remarkable properties of RBP and its variations. Finally, we prove several mathematical results, including the convergence to fixed points of linear chains of arbitrary length, the convergence to fixed points of linear autoencoders with decorrelated data, the long-term existence of solutions for linear systems with a single hidden layer and convergence in special cases, and the convergence to fixed points of non-linear chains, when the derivative of the activation functions is included.

研究の動機と目的

• 標準バックプロパゲーションにおける重み対称性の生物学的非現実性に対処すること。これは、前向き伝播と逆向き伝播の重みが同一である必要があるためである。
• 誤差信号の逆伝播において、前向き重み行列の転置をランダム行列で効果的に置き換えられることを調査すること。学習性能を損なわずに行えるかが焦点である。
• 局所学習と学習チャネルの枠組み内でRBPを形式化し、SRBP、ARBP、ASRBPといった新たな変種の導出を可能にすること。
• 線形および非線形ネットワークにおけるRBPおよびその変種の計算複雑性と収束特性を分析すること。
• 学習チャネルを介した誤差信号通信に必要な最小ビット精度を特定し、情報効率の限界を探ること。

提案手法

• RBPは、誤差の逆伝播中に前向き重み行列の転置を固定されたランダム行列に置き換えることで、対称的重みの必要性を排除する。
• 著者は誤差信号伝送を形式化するための「学習チャネル」の概念を導入し、スキップRBP（SRBP）、適応的RBP（ARBP）、スパースRBPといった変種の導出を可能にする。
• 活性化関数の微分を誤差信号に組み込むことで、性能と収束性の両面で重要であることが示されている。
• 理論的分析では、線形チェーン、分散が無相関な線形オートエンコーダ、特定の条件下での単一隠れ層線形系において、固定点への収束を証明している。
• 非線形ネットワークでは、活性化関数の微分が誤差信号伝播に含まれている場合に収束が保証される。
• MNISTおよびCIFAR-10におけるRBPのさまざまな変種を用いたシミュレーションを通じて、標準バックプロパゲーションに対するロバストネスと性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 誤差信号の逆伝播において、前向き重み行列の転置をランダム行列で置き換えても、高い学習性能を維持できるか？
• RQ2 線形および非線形ネットワークにおいて、RBPおよびその変種が固定点に収束する理論的条件は何か？
• RQ3 活性化関数の微分を誤差信号に含めることで、RBPの性能と安定性にどのような影響があるか？
• RQ4 性能を劣化させることなく、学習チャネルを介した誤差信号通信に必要な最小ビット数は何か？
• RQ5 SRBP、ARBP、スパースRBPといった変種は、標準バックプロパゲーションと比較して、精度と計算効率の面でどのように異なるか？

主な発見

• RBPは、誤差の逆伝播にランダム行列を用いるにもかかわらず、MNISTおよびCIFAR-10で標準バックプロパゲーションにほぼ匹敵する性能を達成しており、ロバストであることが示された。
• RBPにおける高い性能と理論的収束性の両方にとって、誤差信号に活性化関数の微分を含めることは不可欠である。
• 理論的分析により、活性化関数の微分が含まれている限り、任意の長さの線形チェーンにおいてRBPが固定点に収束することが証明された。
• 分散が無相関な線形オートエンコーダでは、特定の条件下でRBPが固定点に収束し、構造的設定における安定性が裏付けられた。
• 単一隠れ層線形系では、長期的に解が存在し、特別な場合（例えば重み行列が対称である場合）には収束が保証される。
• 本論文は、活性化関数の微分が誤差信号伝播に組み込まれている場合、非線形チェーンに対しても固定点への収束が成り立つことを確立した。