[論文レビュー] Recursive Binary Neural Network Learning Model with 2.28b/Weight Storage Requirement

Tianchan Guan, Xiaoyang Zeng+1 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Memory and Neural Computing参考文献 21被引用数 6

ひとこと要約

この論文では、学習中にシナプス重みの記憶領域を再帰的に再利用することにより、パラメータ1つあたり2.28ビットに重みのストレージを削減する再帰的バイナリニューラルネットワーク（R-BNN）学習モデルを提案する。この手法により、より深いネットワークのオンチップ学習が可能となり、エネルギー消費を低減し、外部メモリへのアクセス回数も削減され、同じストレージ制約下で従来の8–16ビット/重みを使用するバイナリモデルよりも1%低い分類誤差を達成する。

ABSTRACT

This paper presents a storage-efficient learning model titled Recursive Binary Neural Networks for sensing devices having a limited amount of on-chip data storage such as < 100's kilo-Bytes. The main idea of the proposed model is to recursively recycle data storage of synaptic weights (parameters) during training. This enables a device with a given storage constraint to train and instantiate a neural network classifier with a larger number of weights on a chip and with a less number of off-chip storage accesses. This enables higher classification accuracy, shorter training time, less energy dissipation, and less on-chip storage requirement. We verified the training model with deep neural network classifiers and the permutation-invariant MNIST benchmark. Our model uses only 2.28 bits/weight while for the same data storage constraint achieving ~1% lower classification error as compared to the conventional binary-weight learning model which yet has to use 8 to 16 bit storage per weight. To achieve the similar classification error, the conventional binary model requires ~4x more data storage for weights than the proposed model.

研究の動機と目的

• 制限されたオンチップメモリ（例：100 KB未満）を備えたリソース制約のあるセンシングデバイスで深層ニューラルネットワークを学習する課題に対処すること。
• 学習中のシナプス重みのストレージ容量を低減し、外部メモリへのアクセス回数とエネルギー消費を最小限に抑えること。
• 重みのストレージ効率を最適化することで、オンチップでの分類精度の向上と高速な学習を実現すること。

提案手法

• バックプロパゲーション中に複数回の重み更新に同じオンチップメモリ領域を再利用する再帰的重み更新メカニズムを導入すること。
• 重みをバイナリ化（±1）することで、1パラメータあたりのストレージを32ビット浮動小数点から1ビットに大幅に削減すること。
• 中間勾配値および重み値を同じメモリ領域に上書きすることで、ストレージ容量を最小限に抑える重み再利用戦略を実装すること。
• 重みストレージ領域の反復的再利用をサポートする修正された確率的勾配降下（SGD）更新則を適用すること。
• 順列不変MNISTベンチマークで学習された深層ニューラルネットワーク分類器にこの手法を適用すること。
• 再帰パイプラインにおける重み更新の順序とタイミングを慎重に管理することで、モデルの収束性と精度を保証すること。

実験結果

リサーチクエスチョン

• RQ1 分類精度を損なわずに、顕著に低いオンチップ重みストレージ（例：2.5ビット/重み未満）でニューラルネットワークを学習できるか？
• RQ2 低メモリデバイスにおける再帰的重みストレージ再利用は、学習時間、エネルギー効率、およびモデル精度にどのように影響するか？
• RQ3 2.28ビット/重みという極めて低いストレージで、バイナリ重みネットワークが8–16ビットモデルと同等またはそれ以上の性能を達成できるか？
• RQ4 再帰的重み更新方式において、メモリ効率と収束安定性のトレードオフは何か？
• RQ5 同一の制約下で、従来のバイナリニューラルネットワークと比較して、提案手法は誤差率とストレージ要件においてどのように異なるか？

主な発見

• R-BNNモデルは重み1つあたりわずか2.28ビットのストレージ要件を達成し、従来のバイナリモデルが1重みあたり8–16ビットを使用するのと比べて顕著に低い。
• 極端な圧縮にもかかわらず、同じストレージ制約下で、従来のバイナリ重みモデルと比較してテスト誤差率が約1%低い水準に達した。
• 提案手法により、同程度の精度を達成する従来のバイナリモデルと比較して、外部メモリへのアクセス回数が最大4倍まで削減された。
• メモリバッティングの低減により、より深いネットワークのオンチップ学習が可能となり、分類精度が向上した。
• 再帰的重み再利用メカニズムは、順列不変MNISTベンチマークにおいてモデルの収束性と一般化性能を維持した。