[論文レビュー] LightNN: Filling the Gap between Conventional Deep Neural Networks and Binarized Networks

Ruizhou Ding, Zeye Liu+3 more|arXiv (Cornell University)|Dec 2, 2017

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

LightNNは、全精度乗算をシフトと加算の演算に置き換えることで、バイナリ化ニューラルネットワーク（BNNs）のエネルギー効率と従来のDNNの精度の両立を図る、新しい深層ニューラルネットワークアーキテクチャを提案する。BNNsよりも高い精度を達成しつつエネルギー消費を最小限に抑え、大規模なモデルでは正則化効果のおかげで従来のDNNを上回る精度を示す。MNISTおよびCIFAR-10データセットで検証された。

ABSTRACT

Application-specific integrated circuit (ASIC) implementations for Deep Neural Networks (DNNs) have been adopted in many systems because of their higher classification speed. However, although they may be characterized by better accuracy, larger DNNs require significant energy and area, thereby limiting their wide adoption. The energy consumption of DNNs is driven by both memory accesses and computation. Binarized Neural Networks (BNNs), as a trade-off between accuracy and energy consumption, can achieve great energy reduction, and have good accuracy for large DNNs due to its regularization effect. However, BNNs show poor accuracy when a smaller DNN configuration is adopted. In this paper, we propose a new DNN model, LightNN, which replaces the multiplications to one shift or a constrained number of shifts and adds. For a fixed DNN configuration, LightNNs have better accuracy at a slight energy increase than BNNs, yet are more energy efficient with only slightly less accuracy than conventional DNNs. Therefore, LightNNs provide more options for hardware designers to make trade-offs between accuracy and energy. Moreover, for large DNN configurations, LightNNs have a regularization effect, making them better in accuracy than conventional DNNs. These conclusions are verified by experiment using the MNIST and CIFAR-10 datasets for different DNN configurations.

研究の動機と目的

• ASIC実装を想定したDNNにおけるエネルギー効率とモデル精度のトレードオフを解消すること。
• 小規模なDNN構成において精度が低いBNNsの課題を克服しつつ、低エネルギー消費を維持すること。
• 従来のDNNの代替としてハードウェアにやさしい選択肢を提供し、精度を損なわずにエネルギー消費を削減すること。
• 標準DNNと比較して、大規模なDNN構成におけるLightNNの正則化効果を調査すること。

提案手法

• 全結合層および畳み込み層内のすべての乗算を、1回または数回のシフトと加算の演算に置き換える。
• 重みを2の累乗に制限することで、シフトベースの計算が効率的に行えるネットワークアーキテクチャを設計する。
• バックプロパゲーション中にシフトと加算の制約を維持しつつ、ネットワーク性能を保つ訓練手順を採用する。
• 重みの制約を通じて正則化機構を導入し、大規模モデルにおける一般化性能の向上を図る。
• シフトベースの演算をサポートするために、標準的なディープラーニングフレームワークを最小限に変更してモデルを実装する。
• MNISTおよびCIFAR-10上で、さまざまなDNN構成に対して精度とエネルギーのトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 シフトベースの演算を用いたDNNモデルは、BNNsよりも高い精度を達成しつつ、低エネルギー消費を維持できるか？
• RQ2 さまざまなモデルサイズにおいて、LightNNは従来のDNNと比較して精度とエネルギー効率の両面で優れているか？
• RQ3 LightNNにおけるシフトベースの重み制約は、大規模モデルにおける一般化性能の向上をもたらす正則化効果を生じるか？
• RQ4 従来のDNNと比較して、LightNNは顕著な精度の損失なしに、どの程度エネルギー消費を削減できるか？
• RQ5 LightNNの性能は、さまざまなデータセットおよびネットワークアーキテクチャでどのように変動するか？

主な発見

• 小規模なDNN構成では、LightNNはエネルギー消費のわずかな増加でBNNsよりも高い精度を達成する。
• 大規模なDNN構成では、シフトベースの重み制約が引き起こす正則化効果のおかげで、LightNNは従来のDNNを上回る精度を示す。
• LightNNは高いエネルギー効率を維持しており、BNNsと比較してエネルギー消費はわずかに増加するが、精度は顕著に向上する。
• MNISTおよびCIFAR-10データセットにおいて、LightNNはさまざまなネットワークの深さと幅に対して、BNNsを常に上回る一貫した性能向上を示す。
• シフトと加算の演算設計により、効率的なハードウェアマッピングが可能となり、LightNNは低面積・低電力のオーバーヘッドでASICへの実装に適している。
• モデルの性能はさまざまなDNNアーキテクチャで安定しており、従来のネットワークおよびバイナリ化ネットワークのハードウェア最適化代替としての汎用性が確認された。