[論文レビュー] Efficient Convolutional Neural Network Training with Direct Feedback Alignment

Donghyeon Han, Hoi‐Jun Yoo|arXiv (Cornell University)|Jan 6, 2019

Video Surveillance and Tracking Methods参考文献 28被引用数 12

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）のための新しい学習手法であるバイナリ直接フィードバックアライメント（BDFA）を提案する。BDFAは、直接フィードバックアライメント（DFA）とバックプロパゲーション（BP）を組み合わせることで、学習の安定性と効率性を向上させる。フィードバック重みをバイナリ化し、新しいフィードバック重み初期化方式を導入することで、特に小規模データセットにおいて、標準的なバックプロパゲーションを上回る高い精度を達成するとともに、計算コストとメモリ帯域幅の要件を低減する。

ABSTRACT

There were many algorithms to substitute the back-propagation (BP) in the deep neural network (DNN) training. However, they could not become popular because their training accuracy and the computational efficiency were worse than BP. One of them was direct feedback alignment (DFA), but it showed low training performance especially for the convolutional neural network (CNN). In this paper, we overcome the limitation of the DFA algorithm by combining with the conventional BP during the CNN training. To improve the training stability, we also suggest the feedback weight initialization method by analyzing the patterns of the fixed random matrices in the DFA. Finally, we propose the new training algorithm, binary direct feedback alignment (BDFA) to minimize the computational cost while maintaining the training accuracy compared with the DFA. In our experiments, we use the CIFAR-10 and CIFAR-100 dataset to simulate the CNN learning from the scratch and apply the BDFA to the online learning based object tracking application to examine the training in the small dataset environment. Our proposed algorithms show better performance than conventional BP in both two different training tasks especially when the dataset is small.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における直接フィードバックアライメント（DFA）の学習精度の低さと不安定性、特に深層アーキテクチャにおいての課題を解決すること。
• DFAのCNNにおける限界を、従来のバックプロパゲーション（BP）と統合することで学習性能を向上させること。
• DFAベースの学習における訓練の安定性と収束速度を向上させるための新しいフィードバック重み初期化手法を開発すること。
• バイナリ直接フィードバックアライメント（BDFA）を通じてフィードバック重みをバイナリ化することで、計算コストを最小限に抑えつつ、学習精度を維持すること。
• 標準的なCNN学習（スクラッチからの学習）および実世界のオンライン学習シナリオ（限られたデータを用いたオブジェクトトラッキングなど）の両方で、提案手法を評価すること。

提案手法

• 訓練中にDFAと標準的なバックプロパゲーションを組み合わせることで、BPの勾配精度を活用するとともに、DFAの計算上の利点を維持する。
• DFAにおける固定ランダム行列の分析に基づき、新しいフィードバック重み初期化手法を提案し、訓練の安定性と収束速度を向上させる。
• フィードバック重み行列をバイナリ化することで、メモリ帯域幅と計算コストを著しく削減するバイナリ直接フィードバックアライメント（BDFA）を導入する。
• CIFAR-10およびCIFAR-100データセットに対して、VGG-16にBDFAを適用し、フル精度とバイナリ化されたフィードバック重みを用いたスクラッチからの学習を実施する。
• オブジェクトトラッキングにおけるオンライン学習に適応させるために、MDNetの全結合層でBPをBDFAに置き換えることで、小規模データセットにおける効率的なファインチューニングを可能にする。
• 特にバイナリ化されたフィードバック設定において性能をさらに向上させるために、全結合層の後にバッチ正規化（BN）を適用する。

実験結果

リサーチクエスチョン

• RQ1 DFAとバックプロパゲーションを組み合わせることで、特に深層アーキテクチャにおいて、標準的なBPと比較してCNNにおける学習精度が向上するか？
• RQ2 提案されたフィードバック重み初期化手法は、CNNにおけるDFAベースの学習の安定性と収束速度にどのように影響するか？
• RQ3 BDFAにおけるフィードバック重みのバイナリ化は、CNNにおける学習精度を維持しつつ、計算コストをどの程度低減できるか？
• RQ4 オブジェクトトラッキングのような小規模データセットを用いたオンライン学習シナリオにおいて、BDFAは標準的なBPを上回る性能を示せるか？
• RQ5 バッチ正規化の統合は、CNN学習におけるBDFAおよびDFAの性能にどのように影響するか？

主な発見

• DFAとBPの組み合わせ（CDFA）は、データオーグメンテーションを用いないCIFAR-10およびCIFAR-100データセットにおいても、標準的なバックプロパゲーションを上回る高いテスト精度を達成する。
• 提案された新しいフィードバック重み初期化手法は、DFAベースの学習における訓練の安定性と収束速度を顕著に向上させ、発散のリスクを低減する。
• バイナリ直接フィードバックアライメント（BDFA）は、フル精度DFAと同等の学習精度を維持しながら、メモリ帯域幅と計算コストを著しく削減する。
• CBDFA（統合BDFA）は、オブジェクトトラッキングタスクにおいてOTBデータセットで、標準的なBPおよび他のベースラインを上回る性能を示すが、特に小スケールバッチサイズの条件下で顕著である。
• 全結合層の後にバッチ正規化を追加することで、BDFAの性能が向上するが、これは通常のBPとは逆で、BNを全結合層後に適用すると性能が低下するという一般的な傾向を逆転させる。
• BDFAは、フィードバックパスにおけるデータ転送を低減し、誤差伝播を並列化できる点から、限られたデータを用いたオンライン学習環境において、BPを上回る優れた性能を示す。