[論文レビュー] Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning

Donghyeon Han, Gwangtae Park+2 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Memory and Neural Computing参考文献 21被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）および再帰ニューラルネットワーク（RNN）への生物学的に妥当な学習の拡張を図るハイブリッド直接フィードバックアライメント（HDFA）手法を提案する。ネットワークをモジュール化し、CNNでは拡張畳み込みとグループ畳み込みを、RNNではスパースなバックワード重みを用い、BPとDFAを組み合わせることでBPレベルの精度を達成する。この手法は最小限のハードウェアコストで最先端の精度を達成し、並列学習におけるバックワードロックを解消する。

ABSTRACT

Throughout this paper, we focus on the improvement of the direct feedback alignment (DFA) algorithm and extend the usage of the DFA to convolutional and recurrent neural networks (CNNs and RNNs). Even though the DFA algorithm is biologically plausible and has a potential of high-speed training, it has not been considered as the substitute for back-propagation (BP) due to the low accuracy in the CNN and RNN training. In this work, we propose a new DFA algorithm for BP-level accurate CNN and RNN training. Firstly, we divide the network into several modules and apply the DFA algorithm within the module. Second, the DFA with the sparse backward weight is applied. It comes with a form of dilated convolution in the CNN case, and in a form of sparse matrix multiplication in the RNN case. Additionally, the error propagation method of CNN becomes simpler through the group convolution. Finally, hybrid DFA increases the accuracy of the CNN and RNN training to the BP-level while taking advantage of the parallelism and hardware efficiency of the DFA algorithm.

研究の動機と目的

• バックプロパゲーション（BP）の代替手法としての直接フィードバックアライメント（DFA）が、畳み込みニューラルネットワーク（CNN）および再帰ニューラルネットワーク（RNN）の学習において低精度にとどまることを是正すること。
• 生物学的に妥当な誤差伝搬法を用いて、バックプロパゲーションにおけるバックワードロック問題を克服すること。
• メモリトランザクションと計算コストを低減しつつ、バックプロパゲーション（BP）と同等の学習精度を達成すること。
• DFAとBPの長所を活かした最適なパフォーマンスとハードウェア効率を実現するハイブリッド学習フレームワーク（HDFA）の開発すること。

提案手法

• CNNおよびRNNをより小さなモジュール化されたコンponentsに分割し、各モジュール内で局所的な直接誤差伝搬を可能にする。
• CNNにおける誤差伝搬に拡張畳み込みを適用し、パラメータ依存性を低減し、勾配の流れを改善する。
• CNNにおける誤差伝搬の簡素化とチャネルレベルのデータ依存性の解消のため、グループ畳み込みを用いる。
• RNNにおける計算複雑性と計算量の低減を図るため、特に上三角行列構造を用いたスパースなバックワード重み行列を実装する。
• メモリトランザクションと計算負荷の低減を目的として、バイナリおよびスパースなDFA最適化技術を導入する。
• BPとDFAを組み合わせたハイブリッド学習アルゴリズム（HDFA）を提案：重要な層にはBPを、他の層にはDFAを適用することで、低いハードウェアコストでBPレベルの精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 直接フィードバックアライメント（DFA）は、畳み込みニューラルネットワーク（CNN）および再帰ニューラルネットワーク（RNN）の学習に、バックプロパゲーション（BP）と同等の精度で効果的に拡張可能か？
• RQ2 生物学的に妥当な誤差伝搬法を用いて、BPにおけるバックワードロック問題をどのように解決できるか？
• RQ3 拡張畳み込み、グループ畳み込み、スパース重みなどのアーキテクチャ的変更は、CNNおよびRNNにおけるDFAのパフォーマンスをどのように向上させるか？
• RQ4 BPとDFAをハイブリッドに組み合わせた学習戦略は、BPレベルの精度を達成しつつ、ハードウェアコストとメモリトランザクションを最小限に抑えることができるか？
• RQ5 提案されたHDFA手法は、マルチGPU環境における誤差伝搬の並列性をどの程度実現できるか？

主な発見

• 提案されたHDFA手法は、CIFAR-10およびCIFAR-100データセットでバックプロパゲーション（BP）と同等のテスト精度を達成し、ResNet-50実験では98%の精度を達成した。
• 従来のBPと比較して、HDFAは最大98%のメモリトランザクション削減を実現し、98%のスパarsityを達成したRNN学習ではたった1.1 GOP（ギガオペレーション）にまで低減した。
• HDFAでは、バックワードロックの排除と完全な並列性のおかげで、RNN学習における誤差伝搬がBPに比べ最大35倍速くなった。
• CNNにおける拡張畳み込みとグループ畳み込みの使用により、誤差伝搬の複雑さが低減され、学習の安定性が向上した。
• 特に上三角行列を用いたRNNにおけるスパースなバックワード重みは、計算量とメモリ使用量を低減しながらも、高い精度を維持した。
• HDFAは、従来のDFA、改訂版DFA、およびBPを含むすべての比較手法の中で、最も低いハードウェアコストを実現しながら、BPレベルのパフォーマンスを達成した。