[論文レビュー] Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections

Xichuan Zhou, Shengli Li+6 more|arXiv (Cornell University)|Apr 21, 2016

Advanced Neural Network Applications参考文献 27被引用数 9

ひとこと要約

本稿では、無視できる重みを段階的にプルーニングし、顕著な重みを±1にバイナリ化することで、スパースなバイナリ接続を実現するハードウェア効率の良い深層ニューラルネットワーク、Deep Adaptive Networkを提案する。この手法により、MNIST上で97.2%の精度を維持しながら、メモリ使用量を99.3%削減し、計算量を99.9%削減することができる。

ABSTRACT

Deep neural networks are state-of-the-art models for understanding the content of images, video and raw input data. However, implementing a deep neural network in embedded systems is a challenging task, because a typical deep neural network, such as a Deep Belief Network using 128x128 images as input, could exhaust Giga bytes of memory and result in bandwidth and computing bottleneck. To address this challenge, this paper presents a hardware-oriented deep learning algorithm, named as the Deep Adaptive Network, which attempts to exploit the sparsity in the neural connections. The proposed method adaptively reduces the weights associated with negligible features to zero, leading to sparse feedforward network architecture. Furthermore, since the small proportion of important weights are significantly larger than zero, they can be robustly thresholded and represented using single-bit integers (-1 and +1), leading to implementations of deep neural networks with sparse and binary connections. Our experiments showed that, for the application of recognizing MNIST handwritten digits, the features extracted by a two-layer Deep Adaptive Network with about 25% reserved important connections achieved 97.2% classification accuracy, which was almost the same with the standard Deep Belief Network (97.3%). Furthermore, for efficient hardware implementations, the sparse-and-binary-weighted deep neural network could save about 99.3% memory and 99.9% computation units without significant loss of classification accuracy for pattern recognition applications.

研究の動機と目的

• 埋め込みシステムにおける深層ニューラルネットワークの高いメモリおよび計算要求を解決すること。
• 顕著な精度低下を伴わずにモデルサイズと推論コストを削減すること。
• スパarsityとバイナリ重み表現を通じて、効率的なハードウェアデプロイメントを可能にすること。
• 重要な特徴を保持することができる学習可能で適応的なプルーニング機構の開発

提案手法

• 無視できる特徴に関連する重みを自発的に0に設定し、ネットワーク内に構造的スパarsityを誘発する。
• 閾値処理を適用して最も顕著な重みのみを保持し、その後それらを±1にバイナリ化する。
• エンドツーエンドの学習を可能にする微分可能プルーニング戦略を採用し、スパarsity正則化を組み込む。
• 2段階の訓練プロセスを採用：まず標準的なバックプロパゲーションで事前学習を行い、その後スパarsityおよびバイナリ化制約付きでファインチューニングを行う。
• 低消費電力ハードウェアに適したスパースかつバイナリ重み付きの順方向アーキテクチャを実装する。
• バイナリ重みの訓練中に勾配を安定化させるための再パrameterizationトリックを導入する。

実験結果

リサーチクエスチョン

• RQ1 適応的プルーニングとバイナリ量子化は、深層ニューラルネットワークにおける分類精度を保持できるか？
• RQ2 スパarsityとバイナリ重みは、深層ネットワークのメモリ使用量と計算量をどの程度削減できるか？
• RQ3 ベンチマークデータセット上で、標準的なディープベルリーフネットワークと比較して、本手法の精度はどの程度か？
• RQ4 スパースバイナリネットワークにおけるモデル圧縮と性能低下のトレードオフはどのようなものか？
• RQ5 エンドツーエンドの学習が可能でありながら、高い精度を維持できるか？

主な発見

• Deep Adaptive Networkは、MNISTデータセットで保持された接続の25%のみで97.2%の分類精度を達成した。
• フルプレシジョンネットワークと比較して、メモリ使用量を約99.3%削減した。
• スパースかつバイナリ重み表現のおかげで、計算操作量が99.9%削減された。
• 性能は標準的なディープベルリーフネットワーク（97.3%の精度）とほぼ同一であった。
• ±1への極端な重み量子化にもかかわらず、高いロバストネスと一般化性能を維持した。
• リソース制限のある埋め込みシステムへのデプロイメントにおいて、強い潜在的価値を示した。