[論文レビュー] Gated XNOR Networks: Deep Neural Networks with Ternary Weights and Activations under a Unified Discretization Framework.

Lei Deng, Peng Jiao+3 more|arXiv (Cornell University)|May 25, 2017

Advanced Memory and Neural Computing被引用数 17

ひとこと要約

本稿では、三値重みおよび活性化を持つ深層ニューラルネットワークの統一フレームワークを提案する。多段階離散化と微分近似を用いることで、バックプロパゲーションを効率的に行い、完全精度の隠れ層重みの保存を排除する離散的状態遷移を実現する。この手法により、イベント駆動型ハードウェア設計をサポートするゲート付きXNORネットワークが得られ、柔軟なスパarsity制御と離散的状態制御を実現し、最先端の性能を達成する。

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks undera unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multistep neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. In this way, we build a unified framework that subsumes the binary or ternary networks as its special cases.More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to gated XNOR networks (or sparse binary networks) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore,the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

研究の動機と目的

• 活性化が離散値に量子化された離散的ニューラルネットワークにおけるバックプロパゲーションの実装を容易にする課題に対処する。
• 学習の性能を損なわせることなく、訓練中に完全精度の隠れ層重みを保存する必要を排除する。
• 二値および三値ネットワークを統一的なフレームワークで統合し、柔軟なハードウェアマッピングを可能にする。
• 三値ネットワークにおけるゲート付きXNOR論理演算を通じて、イベント駆動型でスパースな計算を実現する。
• 計算上のスパarsityおよび離散的状態数を調整可能にすることで、さまざまなハードウェアプラットフォームに適応可能なシステムを設計する。

提案手法

• 連続的な活性化を離散状態にマップする多段階ニューロン活性化離散化法を提案し、勾配の流れを保持する。
• 離散的活性化関数を介したバックプロパゲーションを可能にする微分近似技術を導入する。
• 訓練中に完全精度の重みを保存しないで、ネットワーク重みを離散値に制限する離散的状態遷移（DST）手法を開発する。
• 非ゼロの重みおよび非ゼロの活性化のみがXNOR論理演算をトリガーするようにネットワークを定式化し、スパースでイベント駆動型の推論を実現する。
• 三値重みおよび活性化を統一フレームワークに統合し、二値および三値ネットワークを一般化する。
• スパarsityおよび離散的状態空間のサイズを、さまざまなハードウェア制約に適合させるために柔軟に調整可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、離散的（三値的）活性化を持つ深層ニューラルネットワークにおけるバックプロパゲーションを効果的に実装できるか？
• RQ2 完全精度の隠れ層重みを保存する必要を排除しつつ、学習性能を損なわせないメカニズムは何か？
• RQ3 二値および三値ネットワークを統一的フレームワークで統合できるか、同一のアーキテクチャで統合可能か？
• RQ4 提案手法は、モバイル推論に適した効率的でイベント駆動型のハードウェア設計をどのように実現するか？
• RQ5 計算上のスパarsityおよび離散的状態空間は、ハードウェア固有の最適化のためにどの程度まで調整可能か？

主な発見

• 提案手法は、多段階離散化と微分近似を用いることで、離散的ネットワークにおけるバックプロパゲーションを成功裏に実現した。
• 離散的状態遷移（DST）技術により、完全精度の隠れ層重みを保存する必要がなくなり、メモリおよび計算のオーバーヘッドが削減された。
• 重みおよび活性化がともに三値の場合、ネットワークはゲート付きXNORネットワークに簡略化され、スパースでイベント駆動型の計算が可能になる。
• 評価されたベンチマークにおいて、最先端のアルゴリズムと比較して優れた性能を達成した。
• 計算上のスパarsityおよび離散的状態数を、異なるハードウェアプラットフォームの制約に合わせて柔軟に調整可能である。
• 統一フレームワークにより、二値および三値ネットワークが一般化され、ネットワークタイプの間で互換性とスケーラビリティを示した。