[論文レビュー] GXNOR-Net: Training deep neural networks with ternary weights and activations without full-precision memory under a unified discretization framework

Lei Deng, Peng Jiao+3 more|arXiv (Cornell University)|May 25, 2017

Advanced Memory and Neural Computing参考文献 27被引用数 6

ひとこと要約

GXNOR-Net は、トレーニング中にフルプレシジョン重みを保存せずに、三値重みと活性化を持つ深層ニューラルネットワークを訓練するための統一的離散化フレームワークを提案する。多段階活性化離散化と導関数の近似、およびフルプレシジョン重みの保存を回避する離散的状態遷移（DST）手法を導入することで、離散ネットワークにおけるエンドツーエンドの誤差逆伝播が可能となり、MNIST、CIFAR-10、SVHN で最先端の性能を達成した。また、ハードウェアにやさしいスパarsityとイベント駆動型計算の可能性を有する。

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks under a unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multi-step neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. Through this way, we build a unified framework that subsumes the binary or ternary networks as its special cases, and under which a heuristic algorithm is provided at the website https://github.com/AcrossV/Gated-XNOR. More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to sparse binary networks, termed as gated XNOR networks (GXNOR-Nets) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore, the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

研究の動機と目的

• 重みと活性化の柔軟な離散化を可能にする、バイナリおよびトライナリニューラルネットワークを統一するフレームワークを構築すること。
• 重みと活性化が離散値に制限された深層ネットワークにおいて、離散関数の微分不能性を克服し、誤差逆伝播を可能にすること。
• トレーニング中に中間のフルプレシジョン重みを保存する必要をなくし、メモリと計算のボトル neck を軽減すること。
• 非ゼロの重み-活性化ペアを計算ユニットの制御信号として扱うことで、イベント駆動型でスパースな計算を可能にすること。
• 離散状態の数やスパarsityを調整可能な再構成可能フレームワークを提供し、さまざまなハードウェアプラットフォームに適応できること。

提案手法

• 連続的な活性化を離散値の集合にマッピングする多段階ニューロン活性化離散化関数を導入し、離散最適化を可能にする。
• 誤差逆伝播中に離散活性化関数の微分不能性に対処するため、近似導関数技術を提案する。
• 確率的プロジェクション演算子を用いて、フルプレシジョン重みを保存せずにシナプス重みを離散値に制限する離散的状態遷移（DST）手法を導入する。
• DST手法により、重みの更新が直接離散空間ですられるようになり、フルプレシジョンの中間表現の必要がなくなる。
• 重みと活性化のための再構成可能な状態数をサポートし、精度とハードウェア効率の間で柔軟なトレードオフが可能になる。
• 得られたネットワーク、GXNOR-Net は、非ゼロの重み-活性化ペアのみが計算をトリガーするスパースバイナリネットワークとして動作し、イベント駆動型ハードウェア設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重みと活性化が離散値に制限された深層ニューラルネットワークにおいて、誤差逆伝播を効果的に実装できるか？
• RQ2 フルプレシジョンの中間重みを保存せずに、離散重みを持つ深層ネットワークをトレーニングできるか？
• RQ3 重みと活性化における離散状態の数が、ネットワークの性能とハードウェア効率に与える影響は何か？
• RQ4 重みと活性化の離散性を活用して、エネルギー効率の高い推論を実現するイベント駆動型スパース計算を可能にできるか？
• RQ5 高い精度を達成しつつ最小限のハードウェアオーバーヘッドで実現できる最適な離散状態数の設定は何か？

主な発見

• GXNOR-Net は、MNIST、CIFAR-10、SVHN において三値重みと活性化を用いて、既存のバイナリおよびトライナリネットワークを上回る最先端の性能を達成した。
• 最適な設定は重みに6つの離散状態、活性化に4つの離散状態であり、スパarsityと表現能力のトレードオフを示している。
• 長方形パルス形状を用いた導関数近似は、三角パルスと同等の精度を達成するが、ハードウェアの複雑さが低減される。
• フレームワークにより、計算ユニットが重みと活性化の両方が非ゼロのときのみ動作するスパースバイナリネットワークとしての動作が可能になり、イベント駆動型ハードウェア設計が実現された。
• DSTにおける確率的プロジェクション演算子は、フルプレシジョンの保存なしに重みの離散化を効果的に維持し、トレーニング中のメモリオーバーヘッドを低減した。
• 本手法は、離散状態数の柔軟な再構成をサポートしており、メモリや計算制約の異なるさまざまなハードウェアプラットフォームに適応可能である。